通过云原生API网关对接ECS和ACS自建的DeepSeek

1. 使用ECS（GPU）部署DeepSeek

请参考在GPU实例上部署DeepSeek-R1蒸馏模型完成在ECS上自建DeepSeek服务的操作。

GPU实例规格参考本文所述，其中：

1. 本文部署的DeepSeek-R1-Distill-Qwen-7B的总大小约为29GB，系统盘或数据盘需要留出对应的空间。

2. 购买的GPU实例规格推荐ecs.gn7i-c16g1.4xlarge，如无该规格，需要按照下列配置选择其他规格。

2. 配置安全组规则允许云原生API网关访问DeepSeek服务

使用网关暴露ECS上的模型服务时，需要保证网关实例可以访问到后端模型服务。

可以参考以下方式配置安全组：

1. 登录云服务器ECS控制台，选择部署的地域，单击当前部署实例，在实例详情 > 绑定资源 >安全组下可获取安全组ID。

2. 登录云原生API网关控制台。

3. 在左侧导航栏，选择实例，并在顶部菜单栏选择地域。

4. 在实例页面，单击目标网关实例名称。

5. 在实例页面，选择安全组授权页签，单击授权安全组。

6. 选择步骤一中ECS对应的安全组ID，并输入端口范围，单击保存。

   

3. 在云原生API网关中为DeepSeek服务添加API配置

在网关中添加API配置有两种方式，一种是跟AI集成度更高的AI API，另一种是基于常规HTTP API配置，两种方式都可以，如果期望简单易用、快速上手推荐使用AI API配置，如果期望了解更多网关配置可以使用HTTP API。

1. 使用ACS GPU集群部署DeepSeek服务

具体操作请参见：使用ACS GPU算力构建DeepSeek蒸馏模型推理服务。

2. 在云原生API网关中为DeepSeek服务添加API配置

目前网关中为ACS服务添加API只支持HTTP API配置方式，后续我们会持续优化，以保持与AI API一致的体验。

创建HTTP API参考以下方式进行：

1. 登录云原生API网关控制台，在左侧导航栏，选择API。

2. 在全部API页签，单击创建API，选择HTTP API。

   

3. 填写HTTP API名称后确认，并在全部API界面中点击刚刚创建的API名称。

   

4. 单击创建路由，在创建路由面板，参考配置如下信息。

   配置项	说明

   配置项	说明
   域名	建议选择已有域名或添加一条新域名用于访问。
   路径（Path）	选择前缀是 / 。
   所属实例	选择服务所在的云原生API网关实例。
   使用场景	选择单服务。
   后端服务	下拉单击“创建服务”，且在创建服务的过程中会自动完成安全组授权。

   

   

   

   

5. 单击保存并发布后，在路由界面的操作界面可以进行调试。

   

6. 在调试界面拼接URL为/v1/chat/completions，并按照下列方式填写JSON格式Body进行请求。

   {
     "model": "deepseek-r1",
     "messages": [
       {
         "role": "user",
         "content": "你是谁"
       }
     ]
   }

   

3. 【可选】如何手工配置安全组规则允许云原生API网关访问DeepSeek服务

使用网关暴露ACS上的模型服务时，需要保证网关实例可以访问到后端模型服务。

可以参考以下方式配置安全组：

1. 登录容器服务ACK控制台，单击当前部署集群，在集群信息 > 基本信息 > 控制面安全组下可查看安全组ID。

   

2. 登录云原生API网关控制台。

3. 在左侧导航栏，选择实例，并在顶部菜单栏选择地域。

4. 在实例页面，单击目标网关实例名称。

5. 在实例详情页面，选择安全组授权页签，单击授权安全组。

6. 选择步骤一中ACS对应的安全组ID，并输入端口范围，单击保存。

   

AI可观测

云原生API网关提供了丰富的AI可观测功能，集成到了AI API中。

在创建AI API时打开请求观测，在AI API的统计页签中即可观测到对应的请求。

模型代理

在创建AI API时可以选择多模型代理服务，并配置每个模型对应的服务。可参考通过云原生API网关接入DeepSeek中的场景三，配置一部分三方模型服务，同时使用自建模型进行Fallback兜底。

如图展示了接入火山引擎、腾讯云三方DeepSeek的情况下，使用ECS GPU自建DeepSeek服务作为Fallback兜底。三方接入出错或额度耗尽时，可以调用自建服务或其他模型避免业务受损。

内容安全

使用AI API时可以接入阿里云内容安全策略，为自建模型增加额外的内容安全防护。

如之前没有使用过阿里云内容安全，可在AI API策略与插件界面，单击前往开通，开通阿里云内容安全服务，并完成后续授权操作。

授权完成后选择策略与插件页签，单击内容安全防护的下拉框，开始配置插件信息。

参考以下配置进行选择，单击保存。如您需要尝试其他配置，也可以根据需要参考文档进行修改。