使用百炼专属模型 Bring Your Own Model

更新时间:
复制为 MD 格式

背景信息

本文将介绍阿里云上的 Salesforce 的 Bring Your Own Model(BYOM)功能,支持从阿里云百炼平台接入自定义模型。您需要先完成前文中的 LLM 服务连接器配置,实现 Salesfroce on Alibaba Cloud 与阿里云百炼的对接。

借助 BYOM 能力,您可突破标准模型限制,一键接入您的专属微调模型,实现参数级精细化管控。


前提条件

  • CXG Setup 模块中连接阿里云百炼连接器成功,详见添加 CXG AI 连接器

  • 管理具备 CXG Admin 权限 或者 CXG Manage AI Model Configuration

操作步骤

Step 1: 在百炼平台完成微调模型

如需使用自定义微调模型,请先在阿里云百炼平台完成模型训练。相关操作可参考以下文档:

image

说明

如果您使用的是子空间,使用子空间 API Key 需由主账号管理员为对应子空间开通模型授权。

前往 业务空间管理页面,点击子空间的模型权限流控设置,授权相关模型。授权后模型即可以在子空间中可用。

Step 2: 在 SFoA CXG 中添加百炼微调模型

点击 CXG Setup > AI> Model Management,进入到模型配置页

image

在 「添加模型」 页面,模型来源,选择 「微调模型」将加载完成部署的模型,确认添加则该模型可被Prompt Template 选中。

image

添加的模型参数默认为空值。您可以为该模型创建新的配置、调整参数,并将各版本保存为独立副本(支持同一模型多版本配置)。每个版本的模型均可在 Prompt Template 中选用,以适配不同业务场景。

当需要在 Model Management 页面修改模型配置时,请点击最右侧的下拉按钮,选择 Configure(配置)。
image.png系统会提示您选择 更新现有模型配置(Update Configuration) 或 创建新的模型配置(Create a new Configuration):

  • 如选择更新配置,请在下方输入修改后的参数信息,点击 Confirm 即可保存。

  • 如选择创建新配置,请设置配置名称及参数后,点击 Confirm 完成创建。
    image.png保存成功后,您可以在列表中查看刚才新建的模型配置记录。
    image.png如需修改模型在 Prompt Builder 配置页的显示状态,请点击记录最右侧的下拉按钮,选择 Hide(隐藏)或 Show(显示)。

    列表页的 Model Visibility 列会显示当前各模型的可见状态(Shown / Hidden)。
    image.png

Step 3: 在 Prompt 中调用

进入 Prompt Builder 模块后,在 Template 页面左侧的模型配置选项中,将 Model Type 设置为 Custom 类型,即可选择通过 BYOM 添加的模型。

保存并发布 Prompt 后,即可在对应的业务场景中调用该模型。
image.png