本文为您介绍大模型网关配置的基本流程,通过配置大模型网关信息,将通信引擎和大模型进行对接。
准备工作:配置大模型
使用通信智能引擎前,您需要自己自行配置大模型,推荐您通过阿里云百炼使用通义千问系列模型,或者使用开源模型以及市场上的商业化成熟模型。
若您使用自有大模型,或接入第三方大模型,需符合通信引擎网关标准协议才可以接入。
若您选择使用阿里云百炼,您可以通过模型对接或通过应用对接。
通过模型对接:您可以查阅模型列表,选择您需要使用的大语言模型,后续创建大模型网关时需要使用。
通过应用对接:大语言模型无法直接回答私有知识领域的问题,您可以借助阿里云百炼的智能体应用构建能力和私有知识文档,构建一个能回答私有领域问题的大模型问答应用。大模型应用要应用于呼叫只能使用流式输出,否则机器人讲话内容生成过慢导致交互不流畅,目前推荐使用智能体应用或对话型工作流应用。
步骤一:创建大模型网关
在智能联络中心控制台>大模型通信>通信智能引擎>大模型网关配置页签,单击创建大模型网关,在弹出的对话框中配置基本信息,单击确定完成创建。
配置项说明
您可以使用通义千问系列模型,或者使用开源模型以及市场上的商业化成熟模型。若需要自建大模型,请完成业务场景的微调和提示词配置,然后再对接通信智能引擎。您的自有大模型只有符合大模型网关对接参数协议才可以接入。
配置项 | 描述 | 最佳实践配置 |
模型名称 | 请输入自定义名称。 | 测试网关 |
模型地址 | 请输入大模型调用地址。
| http://**** |
授权码 | 大模型服务API Key。若您使用阿里云百炼,请访问阿里云百炼控制台获取API Key;若无可用API Key,请单击右上角的创建我的API_KEY。 | s*********************************1 |
模型temperature | 模型温度是一个用于调整生成模型输出多样性和随机性的参数,通常在0到1之间,支持小数点后三位。 | 0.7 说明 此配置参数为推荐值。 |
模型topP | 也称为核采样(Nucleus Sampling),从概率累计达到p的那一组词中随机选择下一个词。 | 0.9 说明 此配置参数为推荐值。 |
模型topK | 自定义数字,在采样时,只从概率最高的前K个词中选择下一个词。 | 50 说明 此配置参数为推荐值。 |
基模板本 | 模型版本,作为参数传递给大模型。如通义的模型版本分为qwen-plus、qwen-turbo、qwen-max。更多请参见模型列表。 | qwen-plus |
步骤二:大模型网关测试
自定义测试内容发送给模型进行测试并返回测试结果和内容。
在智能联络中心控制台>大模型通信>通信智能引擎>大模型网关配置页签,单击已创建的大模型网关的测试,在弹出的对话框中输入测试内容,单击测试查看测试结果和内容。
步骤三:大模型网关上线
大模型网关上线前需要先经过测试,测试通过后才可以上线。在控制台中单击已通过测试网关的上线按钮,在弹出的对话框中单击确认上线。
已上线的网关可被大模型应用关联,下线后无法被应用关联。
网关上线后只能下线和新增基模,不能删除、编辑。被应用关联的网关可以下线。
后续操作
新增基模版本:已上线的大模型网关可以在原有基模板本基础上新增基模板本,并自定义测试内容发送给模型进行测试。
在智能联络中心控制台>大模型通信>通信智能引擎>大模型网关配置页签,单击已上线的大模型网关的新增基模,在弹出的对话框中输入新增的基模板本,在内容项中输入测试内容,单击测试查看测试结果和内容。在测试结果通过后单击提交完成新增基模。
大模型网关下线
若需下线单击已上线大模型网关的下线按钮,在弹出的对话框中单击确认下线。
说明被应用关联的网关下线后,应用无法正常被调用。