一键部署DeepSeek-V3、DeepSeek-R1模型

WebUI使用

仅 Transformers 标准部署提供 Web 应用。加速部署则提供 WebUI 代码下载，您需要在本地启动 Web 应用。

在线调试

在Model Gallery > 任务管理 > 部署任务中单击已部署的服务名称，在在线测试模块中找到EAS在线调试的入口。

以SGLang标准部署为例，使用对话接口<EAS_ENDPOINT>/v1/chat/completions发起POST请求。

1. 补充请求路径。在线调试中已经填充的路径是<EAS_ENDPOINT>，您需要在后面补充路径v1/chat/completions。

2. 构造请求体。

   如果您的提示词是：请计算3+5等于几？

   对于对话接口，您的请求体格式如下。其中model参数值为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称，这里以DeepSeek-R1-Distill-Qwen-7B为例。

   {
       "model": "DeepSeek-R1-Distill-Qwen-7B",
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "请计算3+5等于几？"
           }
       ]
   }

3. 发起请求。

   

其他部署方式对应的请求路径与请求数据示例如下：

{
    "model": "<model_name>",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "请计算3+5等于几？"
        }
    ]
}

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "请计算3+5等于几？"
        }
    ],
    "max_tokens": 2000
}

API调用

1. 获取服务的访问地址和Token。

   1. 在Model Gallery > 任务管理 > 部署任务中单击已部署的服务名称，进入服务详情页。

   2. 单击查看调用信息获取调用的访问地址和Token。

      

2. 对话接口调用示例。

   其中， <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。

   OpenAI SDK

   HTTP

   注意：

   • 需要补全endpoint最后的/v1。

   • BladeLLM加速部署和Transformers标准部署不支持使用client.models.list()方式获取模型列表，您可以直接指定model的值为""以兼容使用。

   SGLang/vLLM加速部署

   BladeLLM加速部署/Transformers标准部署

   from openai import OpenAI
   
   ##### API 配置 #####
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "你好，请介绍一下你自己。"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   from openai import OpenAI
   
   ##### API 配置 #####
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   # BladeLLM加速部署和Transformers标准部署目前不支持使用client.models.list()方式获取模型名称，您可以直接指定model的值为""以兼容使用。
   model=""
   stream = True
   
   chat_completion = client.chat.completions.create(
       messages=[
                 {"role": "user", "content": "你好，请介绍一下你自己。"}
       ],
        model=model,
        max_completion_tokens=2048,
        stream=stream,
       )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   SGLang/vLLM加速部署

   BladeLLM加速部署/Transformers标准部署

   其中，<model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称。

   curl

   Python

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   
   # <model_name>请替换为模型列表接口<EAS_ENDPOINT>/v1/models获取的模型名称。
   model = "<model_name>"
   stream = True
   messages = [
       {"role": "system", "content": "You are a helpful assistant."},
       {"role": "user", "content": "你好，请介绍一下你自己。"},
   ]
   # 使用BladeLLM加速部署方式，如果不指定max_tokens参数，默认会按照max_tokens=16进行截断。建议您根据实际需要调整请求参数max_tokens。
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.0,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
       "model": model,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])
   

   curl

   Python

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   
   # <EAS_ENDPOINT>需替换为部署服务的访问地址，<EAS_TOKEN>需替换为部署服务的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   
   
   stream = True
   messages = [
       {"role": "system", "content": "You are a helpful assistant."},
       {"role": "user", "content": "你好，请介绍一下你自己。"},
   ]
   # 使用BladeLLM加速部署方式，如果不指定max_tokens参数，默认会按照max_tokens=16进行截断。建议您根据实际需要调整请求参数max_tokens。
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.2,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   if(resp["choices"][0]["delta"].get("content") is not None):
                         print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])

3. 不同的模型以及不同的部署框架，在使用推理服务时也会存在区别。您可以在Model Gallery的模型介绍页查看更多API调用方式的详细说明。

   

满血版模型

下表提供了部署所需的最低配置，以及使用不同机型部署时在不同推理框架上支持的最大Token数。

蒸馏版模型

点击部署后服务长时间等待

可能的原因：

• 当前地域下机器资源不足。

• 由于模型较大，模型加载耗时较长（对于DeepSeek-R1、DeepSeek-V3这样的大模型，需要20-30min）。

您可以耐心等待观察一段时间，如果服务仍长时间无法正常启动运行，建议尝试以下步骤：

1. 进入任务管理-部署任务，查看部署任务详情页。在页面右上角单击更多 > 更多信息，跳转到PAI-EAS的模型服务详情，查看服务实例状态。

   

2. 关闭当前服务，并在控制台左上角切换到其他地域重新部署服务。

   说明

   对于DeepSeek-R1、DeepSeek-V3这样的超大参数量模型，需要8卡GPU才能启动服务（资源库存较紧张），您可以选择部署DeepSeek-R1-Distill-Qwen-7B等蒸馏小模型（资源库存较富裕）。

调用API返回404

请检查调用的URL是否加上了OpenAI的API后缀，例如v1/chat/completions。详情可以参考模型主页调用方式介绍。

请求太长导致网关超时

部署使用的默认网关请求超时时间是180秒，如果需要延长超时时间，可以配置专属网关，并提交工单调整专属网关的请求超时时间，最大可以调整到600秒。

如何在线调试模型

详情请参见如何在线调试已部署的模型？

为何没有“联网搜索”

“联网搜索”功能并不是仅通过直接部署一个模型服务就能实现的，而是需要基于该模型服务自行构建一个AI应用（Agent）来完成。

通过PAI的大模型应用开发平台LangStudio，可以构建一个联网搜索的AI应用，详情请参考基于LangStudio&阿里云信息查询服务搭建DeepSeek联网搜索应用流。

模型跳过思考怎么办？

如果部署DeepSeek-R1模型，针对模型有时会跳过思考过程的情况，可采用DeepSeek更新的强制思考的chat模板。使用方式：

1. 修改启动命令。

   如图，在服务配置中，编辑JSON配置，修改containers-script字段，加上"--chat-template /model_dir/template_force_thinking.jinja"（可以加在"--served-model-name DeepSeek-R1"之后）。

   如果是已经部署的服务，在Model Gallery > 任务管理 > 部署任务中单击已部署的服务名称，在详情页面右上角单击更新服务，即可进入上述页面。

   

2. 请求体修改。在每次请求中，message最后加上{"role": "assistant", "content": "<think>\n"}。

如何接入Chatbox或Dify

以DeepSeek-R1-Distill-Qwen-7B模型为例，建议采用SGLang或vLLM加速部署。

如何实现多轮对话？

模型服务本身不会保存历史对话信息，需要客户端保存历史对话，再添加到模型调用的请求中。以SGLang部署的服务，示例如下。

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: ZWUyMzU5MmU2NGFiZWU0ZDRhNWVjMWNhMzI2NTM1ZDllMzZkYTAyYQ==" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
         {
            "role": "user", 
            "content": "你好"
        },
        {
            "role": "assistant",
            "content": "你好！很高兴见到你，有什么我可以帮忙的吗？"
        },
        {
            "role": "user",
            "content": "我上一个问题是什么"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions