ListModelDeploymentProfiles - 查询模型部署方案

更新时间:
复制 MD 格式

查询指定模型当前的可部署方案,包含推理框架、场景、优化组合、支持卡型和成员摘要。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求语法

GET /api/v2/modelgallery/models/{ModelId}/deployment-profiles HTTP/1.1

路径参数

名称

类型

必填

描述

示例值

ModelId

string

实际部署模型 ID。

model-6wiou***0tgtq9lda

请求参数

名称

类型

必填

描述

示例值

ModelVersion

string

模型版本;省略时使用模型表中的最新可部署版本。

1.0.0

BizKey

string

业务规则键。标准 ModelGallery 不传,TokenWorks 传 cmu-biz。

cmu-biz

返回参数

名称

类型

描述

示例值

object

返回结构体。

RequestId

string

请求 ID。

B6B54325-C98C-5937-87A3-2F96C07652EC

ModelId

string

请求对应的模型 ID。

model-6wiou4ta20tgtq9lda

ModelVersion

string

请求对应的模型版本。未设置该请求参数时,返回模型表中的最新可部署版本。

1.0.0

TotalCount

integer

总数量。

15

Profiles

array<object>

部署方案列表。

array<object>

部署方案对象。

ProfileId

string

部署方案 ID。调用方不得自行计算或修改。

prf_4f73b31ae****23f9a04c6e83ebc78f

Framework

string

推理框架,可取值:sglang、vllm。

sglang

Category

string

场景分类。可取值:

  • singlenode:单机

  • multinodes:多机

  • pd:PD 分离

singlenode

Scenario

string

部署场景,例如 singlenode-balanced、pd-balanced。

singlenode-balanced

Devices

array<object>

该部署方案支持的卡型列表。

object

卡型对象。

DeviceType

string

卡型。

NVIDIA_L20C

DisplayName

string

卡型展示名称。

L20C

DeviceCategory

string

设备厂商或设备分类。

NVIDIA

InstanceTypes

array

该卡型当前对应的实例规格列表。(不是实时库存)

string

实例规格。

ml.gx9cf.8.62xlarge

Members

array<object>

部署成员摘要。

array<object>

成员对象。

MemberType

string

成员类型。取值:

  • Default:非 PD 分离。

  • LLMPrefill:PD 分离-Prefill 服务。

  • LLMDecode:PD 分离-Decode 服务。

Default

Meta

object

成员扩展元数据,采用字符串到字符串的键值对象。当前定义 script,调用方应保留未知键

{ "script": "sglang serve --disaggregation-mode decode" }

Labels

object

部署方案的展示和业务筛选标签,采用字符串到字符串的键值对象。

string

键值为 String

{"Badge":"recommended"}

Optimizations

object

推理优化特性。

string

键值为 String

{"spec_decode":"none","hicache": "l2_host"}

示例

正常返回示例

JSON格式

{
  "RequestId": "B6B54325-C98C-5937-87A3-2F96C07652EC",
  "ModelId": "model-6wiou4ta20tgtq9lda",
  "ModelVersion": "1.0.0\n",
  "TotalCount": 15,
  "Profiles": [
    {
      "ProfileId": "prf_4f73b31ae****23f9a04c6e83ebc78f",
      "Framework": "sglang",
      "Category": "singlenode",
      "Scenario": "singlenode-balanced",
      "Devices": [
        {
          "DeviceType": "NVIDIA_L20C",
          "DisplayName": "L20C",
          "DeviceCategory": "NVIDIA",
          "InstanceTypes": [
            "ml.gx9cf.8.62xlarge"
          ]
        }
      ],
      "Members": [
        {
          "MemberType": "Default",
          "Meta": {
            "script": "sglang serve --disaggregation-mode decode"
          }
        }
      ],
      "Labels": {
        "key": "{\"Badge\":\"recommended\"}"
      },
      "Optimizations": {
        "key": "{\"spec_decode\":\"none\",\"hicache\": \"l2_host\"}"
      }
    }
  ]
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情