一键部署DeepSeek-V4、DeepSeek-R1模型

方案架构

快速部署与验证

{
    "messages": [
        {
            "role": "user",
            "content": "请计算3+5等于几？"
        }
    ],
    "max_tokens": 2000
}

API调用

1. 获取服务的访问地址和Token。

   1. 在Model Gallery > 任务管理 > 部署任务中单击已部署的服务名称，进入服务详情页。

   2. 单击查看调用信息获取调用的访问地址和Token。

2. 对话接口调用示例。

   其中，将<EAS_ENDPOINT>替换为服务访问地址，<EAS_TOKEN>替换为服务Token。

   OpenAI SDK

   注意：

   • 需要补全endpoint最后的/v1。

   • BladeLLM加速部署不支持使用client.models.list()方式获取模型列表，您可以直接指定model的值为""以兼容使用。

   SGLang/vLLM加速部署

   from openai import OpenAI
   # 1. 配置客户端
   # 将<<EAS_ENDPOINT>和<EAS_TOKEN>替换为实际的服务访问地址和Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   # 2. 获取模型名称 
   try:
       model = client.models.list().data[0].id
       print(model)
   except Exception as e:
       print(f"无法获取模型列表，检查Endpoint和Token。错误: {e}")
   # 3. 构造并发送请求
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "你好，请介绍一下你自己。"}
       ],
       model=model,
       max_tokens=2048,
       stream=stream,
   )
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   BladeLLM加速部署

   from openai import OpenAI
   ##### API 配置 #####
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   # BladeLLM加速部署目前不支持使用client.models.list()方式获取模型名称，您可以直接指定model的值为""以兼容使用。
   model=""
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
                 {"role": "user", "content": "你好，请介绍一下你自己。"}
       ],
        model=model,
        max_tokens=2048,
        stream=stream,
       )
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   HTTP

   SGLang/vLLM加速部署

   其中，<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name>",
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   # <model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称。
   model = "<model_name>"
   stream = True
   messages = [
       {"role": "user", "content": "你好，请介绍一下你自己。"},
   ]
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
       "model": model,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])
   

   BladeLLM加速部署

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   stream = True
   messages = [
       {"role": "user", "content": "你好，请介绍一下你自己。"},
   ]
   # 使用BladeLLM加速部署方式，如果不指定max_tokens参数，默认会按照max_tokens=16进行截断。建议您根据实际需要调整请求参数max_tokens。
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   if resp["choices"][0]["delta"].get("content") is not None:
                         print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])

3. 不同模型和部署框架的调用方式有所差异。更多说明请在Model Gallery的模型介绍页查看。

   以 DeepSeek-R1-Distill-Qwen-7B 模型为例，Model Gallery 的模型介绍页展示了 BladeLLM 加速部署的资源要求（需要 24G 显存，仅支持 ecs.gn7 及后续型号），并说明该模型兼容 OpenAI 的 v1/completions 和 v1/chat/completions 接口，同时提供了 curl 命令和 Python 脚本的调用示例。

集成第三方应用

接入Chatbox、Dify或Cherry Studio，请参见集成第三方客户端。

构建本地WebUI

参见使用Gradio构建本地Web UI。

资源清理

使用公共资源部署时，实例拉起后按占用时长计费，不足1小时按分钟折算。使用完成后请及时停止或删除实例。

1. 返回任务管理 > 部署任务页面。

2. 找到需要停止的服务，在其操作列单击停止或删除。

   • 停止：服务实例将被释放，停止计费，但服务配置会保留，可以稍后重新启动。

   • 删除：服务配置和实例都将被永久删除。

选择模型与资源

成本与风险说明

模型部署FAQ

模型调用FAQ

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "你好"
        },
        {
            "role": "assistant",
            "content": "你好！很高兴见到你，有什么我可以帮忙的吗？"
        },
        {
            "role": "user",
            "content": "我上一个问题是什么"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

相关文档

• DeepSeek-V3

• DeepSeek-R1