模型部署

通过 API 部署模型（全代码）

除了在控制台操作，百炼支持通过 HTTP 请求执行模型部署。以下是简洁的操作指南：

前提准备

获取 API-KEY：确保已获取并配置好 API-KEY，参考获取API Key及配置API Key到环境变量。

常见操作步骤

1. 列举可部署模型

   获取可部署模型列表：

   curl "https://dashscope.aliyuncs.com/api/v1/deployments/models" \
       --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
       --header "Content-Type: application/json"

   返回示例：

   {
     "request_id": "cb68e88f-d3fc-4aed-b8bc-2c76c7e05607",
     "output": {
       "models": [
         {
           "model_name": "qwen-plus",
           "base_capacity": 2
         },
       ],
       "page_no": 1,
       "page_size": 50,
       "total": 1
     }
   }

   model_name：模型名称

   base_capacity：每个实例需要的最小算力单元数量

2. 创建部署任务

   部署模型：

   curl "https://dashscope.aliyuncs.com/api/v1/deployments" \
       --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
       --header "Content-Type: application/json" \
       --data '{        
                   "model_name": "<YOUR_MODEL_NAME>",      
                   "capacity": 1,        
                   "suffix": "sample"
               }'

   model_name：待部署的模型。

   capacity：分配的算力单元，需为 base_capacity（基础算力单元） 的整数倍。

   suffix（可选）：用于区分多个部署任务。

3. 查询部署任务状态

   查看某个任务的状态：

   curl 'https://dashscope.aliyuncs.com/api/v1/deployments/qwen-v1-ft-202305099980-fac9-sample' \
       --header 'Authorization: Bearer <YOUR-DASHSCOPE-API-KEY>' \
       --header 'Content-Type: application/json' 

4. 调用部署任务

   使用已部署模型：

   curl --location "https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation" \
   --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
   --header "Content-Type: application/json" \
   --data '{
       "model": "qwen-plus",
       "input":{
           "messages":[      
               {
                   "role": "system",
                   "content": "You are a helpful assistant."
               },
               {
                   "role": "user",
                   "content": "你是谁？"
               }
           ]
       },
       "parameters": {
           "result_format": "message"
       }
   }'

5. 更新部署任务（可选）

   动态调整部署任务的算力单元，实现扩缩容：

   curl --request PUT 'https://dashscope.aliyuncs.com/api/v1/deployments/qwen-v1-ft-20230703-cx7f/scale' \
       --header 'Authorization: Bearer <YOUR-DASHSCOPE-API-KEY>' \
       --header 'Content-Type: application/json' \
       --data '{    
                   "capacity":8
               }'

6. 查询所有部署任务（可选）

   查看所有任务状态：

   curl "https://dashscope.aliyuncs.com/api/v1/deployments" \
       --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
       --header "Content-Type: application/json" 

7. 删除部署任务（可选）

   警告

   删除已部署的模型，可能会导致该模型关联的线上业务发生中断，请谨慎操作。

   下线已部署模型：

   curl --request DELETE "https://dashscope.aliyuncs.com/api/v1/deployments/<deployed_model>" \
       --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
       --header "Content-Type: application/json"