查询指定模型当前的可部署方案,包含推理框架、场景、优化组合、支持卡型和成员摘要。
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
调试
授权信息
请求语法
GET /api/v2/modelgallery/models/{ModelId}/deployment-profiles HTTP/1.1
路径参数
|
名称 |
类型 |
必填 |
描述 |
示例值 |
| ModelId |
string |
是 |
实际部署模型 ID。 |
model-6wiou***0tgtq9lda |
请求参数
|
名称 |
类型 |
必填 |
描述 |
示例值 |
| ModelVersion |
string |
否 |
模型版本;省略时使用模型表中的最新可部署版本。 |
1.0.0 |
| BizKey |
string |
否 |
业务规则键。标准 ModelGallery 不传,TokenWorks 传 cmu-biz。 |
cmu-biz |
返回参数
|
名称 |
类型 |
描述 |
示例值 |
|
object |
返回结构体。 |
||
| RequestId |
string |
请求 ID。 |
B6B54325-C98C-5937-87A3-2F96C07652EC |
| ModelId |
string |
请求对应的模型 ID。 |
model-6wiou4ta20tgtq9lda |
| ModelVersion |
string |
请求对应的模型版本。未设置该请求参数时,返回模型表中的最新可部署版本。 |
1.0.0 |
| TotalCount |
integer |
总数量。 |
15 |
| Profiles |
array<object> |
部署方案列表。 |
|
|
array<object> |
部署方案对象。 |
||
| ProfileId |
string |
部署方案 ID。调用方不得自行计算或修改。 |
prf_4f73b31ae****23f9a04c6e83ebc78f |
| Framework |
string |
推理框架,可取值:sglang、vllm。 |
sglang |
| Category |
string |
场景分类。可取值:
|
singlenode |
| Scenario |
string |
部署场景,例如 singlenode-balanced、pd-balanced。 |
singlenode-balanced |
| Devices |
array<object> |
该部署方案支持的卡型列表。 |
|
|
object |
卡型对象。 |
||
| DeviceType |
string |
卡型。 |
NVIDIA_L20C |
| DisplayName |
string |
卡型展示名称。 |
L20C |
| DeviceCategory |
string |
设备厂商或设备分类。 |
NVIDIA |
| InstanceTypes |
array |
该卡型当前对应的实例规格列表。(不是实时库存) |
|
|
string |
实例规格。 |
ml.gx9cf.8.62xlarge |
|
| Members |
array<object> |
部署成员摘要。 |
|
|
array<object> |
成员对象。 |
||
| MemberType |
string |
成员类型。取值:
|
Default |
| Meta |
object |
成员扩展元数据,采用字符串到字符串的键值对象。当前定义 script,调用方应保留未知键 |
{ "script": "sglang serve --disaggregation-mode decode" } |
| Labels |
object |
部署方案的展示和业务筛选标签,采用字符串到字符串的键值对象。 |
|
|
string |
键值为 String |
{"Badge":"recommended"} |
|
| Optimizations |
object |
推理优化特性。 |
|
|
string |
键值为 String |
{"spec_decode":"none","hicache": "l2_host"} |
示例
正常返回示例
JSON格式
{
"RequestId": "B6B54325-C98C-5937-87A3-2F96C07652EC",
"ModelId": "model-6wiou4ta20tgtq9lda",
"ModelVersion": "1.0.0\n",
"TotalCount": 15,
"Profiles": [
{
"ProfileId": "prf_4f73b31ae****23f9a04c6e83ebc78f",
"Framework": "sglang",
"Category": "singlenode",
"Scenario": "singlenode-balanced",
"Devices": [
{
"DeviceType": "NVIDIA_L20C",
"DisplayName": "L20C",
"DeviceCategory": "NVIDIA",
"InstanceTypes": [
"ml.gx9cf.8.62xlarge"
]
}
],
"Members": [
{
"MemberType": "Default",
"Meta": {
"script": "sglang serve --disaggregation-mode decode"
}
}
],
"Labels": {
"key": "{\"Badge\":\"recommended\"}"
},
"Optimizations": {
"key": "{\"spec_decode\":\"none\",\"hicache\": \"l2_host\"}"
}
}
]
}
错误码
访问错误中心查看更多错误码。
变更历史
更多信息,参考变更详情。