修改AI模型参数_云原生多模数据库 Lindorm(Lindorm)-阿里云帮助中心

如果已部署的模型配置无法满足当前业务需求，您可以通过RESTful API接口在线调整参数。该方式可以动态更新模型配置文件，在保留原有模型且不影响模型服务的基础上，修改模型的配置。本文介绍如何通过RESTful API接口调整已部署模型的部分参数配置。

前提条件

已创建或导入模型，且模型状态为READY。如何查看模型的状态，请参见查看模型详细信息。

API接口

POST v1/ai/models/${MODEL_NAME}/update_config

请求参数说明

参数	类型	说明
instance_count	INT	指定更新的模型实例个数。增加模型实例数量可以提升推理性能，但会增加显存占用。
max_batch_size	INT	更新支持的最大批量大小。默认值为`1024`。取值范围为`[1,1024]`。重要仅Embedding模型支持更新部署时设置的max_batch_size值。

示例

请求：

POST v1/ai/models/bge_m3_model/update_config HTTP/1.1
Content-Type: application/json
{
    "instance_count": "4",
    "max_batch_size": "1024"
}

应答：

HTTP/1.1 200 OK
Date: Tue, 28 Nov 2023 03:18:55 GMT
Content-type: application/json
Content-length: 17

{
  "code": 0,
  "msg": "SUCCESS",
  "data": null,
  "success": true
}