企业推理服务配置

背景信息

在公共云上，许多中大型客户对企业的个性化需求提出了更高的要求，希望通过模型微调SFT（Supervised Fine-Tuning）来实现更贴合自身业务场景的定制化适配。为此，阿里云百炼平台提供了从数据准备、模型微调训练到推理部署的一站式解决方案，全面支持模型的SFT相关能力。通义灵码可以无缝集成阿里云百炼的能力，快速响应并满足客户在模型微调和个性化适配方面的需求，助力企业高效实现定制化目标。

前提条件

1. 服务购买

   • 已开通阿里云百炼平台模型训练服务。若未开通可前往阿里云百炼控制台开通。

   • 已购买通义灵码企业版（标准版/专属版）。具体请参见企业标准版快速入门、企业专属版快速入门。

2. 获取推理服务 API

   1. 通过阿里云百炼平台（或其他支持的模型服务平台）完成 SFT 模型的部署。具体请参见模型部署。

   2. 生成推理服务 API地址，并记录 API URL、模型名称、API Key等关键信息。具体请参见首次调用通义千问API。

企业管理员完成自有推理服务 API 配置后，通义灵码系统需确保：当企业授权开发者使用通义灵码相关服务时，系统将自动调用企业内部配置的模型服务。

操作步骤

1. 登录灵码控制台，在左侧导航栏选择策略配置 > 推理服务配置。

2. 在推理服务配置页面中，针对所需的场景，完成模型服务配置：

   • 启用模型服务配置的开关。

   • 填写模型的URL地址、模型名称、API密钥信息。

3. 然后单击立即测试。

   1. 成功提示：模型服务连接成功。

   2. 失败提示：模型服务连接失败，请确保配置内容准确后重新测试。

4. 最后单击保存。

5. 在 IDE 中，登录企业版账号，在智能会话窗口的输入框中选择模型服务时，即可看到所配置的模型。

免责声明