大模型网关配置

本文为您介绍大模型网关配置的基本流程,通过配置大模型网关信息,将通信引擎和大模型进行对接。

准备工作:配置大模型

使用通信智能引擎前,您需要自己自行配置大模型,推荐您通过阿里云百炼使用通义千问系列模型,或者使用开源模型以及市场上的商业化成熟模型。

  • 若您使用自有大模型,或接入第三方大模型,需符合通信引擎网关标准协议才可以接入。

  • 若您选择使用阿里云百炼,您可以通过模型对接或通过应用对接。

    • 通过模型对接:您可以查阅模型列表,选择您需要使用的大语言模型,后续创建大模型网关时需要使用。

    • 通过应用对接:大语言模型无法直接回答私有知识领域的问题,您可以借助阿里云百炼的智能体应用构建能力和私有知识文档,构建一个能回答私有领域问题的大模型问答应用。大模型应用要应用于呼叫只能使用流式输出,否则机器人讲话内容生成过慢导致交互不流畅,目前推荐使用智能体应用对话型工作流应用

      创建阿里云百炼应用

      智能体应用

      1. 登录阿里云百炼,访问应用管理页面。单击新增应用

        image

      2. 选择智能体应用,单击立即创建

        image

      3. 选择需要使用的百炼模型,输入指令、知识库等,具体操作步骤请参见0代码构建问答应用。完成后单击发布。

        image

      4. 返回应用管理页面,获取应用ID。

        image

      5. https://dashscope.aliyuncs.com/api/v1/apps/YOUR_APP_ID/completion中的YOUR_APP_ID替换为上面得到的应用ID,即可得到模型地址。

      对话型工作流应用

      1. 登录阿里云百炼,访问应用管理页面。单击新增应用

        image

      2. 选择工作流应用,单击创建对话型工作流

        image

      3. 根据实际需要完成节点配置,具体操作请参见对话型工作流。配置完成后单击发布

        说明
        • 请确保对应大模型的输出节点开启“结果返回”,否则只能支持模型所有回答完成后的输出。

        • 请确保工作流结束节点为文本输出方式,并且关闭“结果返回”开关,否则会产生重复内容。

        • 对话型工作流应用支持传入自定义参数。

        image

      4. 返回应用管理页面,获取应用ID。

        image

      5. https://dashscope.aliyuncs.com/api/v1/apps/YOUR_APP_ID/completion中的YOUR_APP_ID替换为上面得到的应用ID,即可得到模型地址。

步骤一:创建大模型网关

智能联络中心控制台>大模型通信>通信智能引擎>大模型网关配置页签,单击创建大模型网关,在弹出的对话框中配置基本信息,单击确定完成创建。

image

配置项说明

说明

您可以使用通义千问系列模型,或者使用开源模型以及市场上的商业化成熟模型。若需要自建大模型,请完成业务场景的微调和提示词配置,然后再对接通信智能引擎。您的自有大模型只有符合大模型网关对接参数协议才可以接入。

配置项

描述

最佳实践配置

模型名称

请输入自定义名称。

测试网关

模型地址

请输入大模型调用地址。

  • 若接入阿里云百炼模型:https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions

  • 若接入阿里云百炼应用:将https://dashscope.aliyuncs.com/api/v1/apps/YOUR_APP_ID/completion中的YOUR_APP_ID替换为您创建的应用ID。

http://****

授权码

大模型服务API Key。若您使用阿里云百炼,请访问阿里云百炼控制台获取API Key;若无可用API Key,请单击右上角的创建我的API_KEY。

s*********************************1

模型temperature

模型温度‌是一个用于调整生成模型输出多样性和随机性的参数,通常在01之间,支持小数点后三位。

0.7

说明

此配置参数为推荐值。

模型topP

也称为核采样(Nucleus Sampling),从概率累计达到p的那一组词中随机选择下一个词。

0.9

说明

此配置参数为推荐值。

模型topK

自定义数字,在采样时,只从概率最高的前K个词中选择下一个词。

50

说明

此配置参数为推荐值。

基模板本

模型版本,作为参数传递给大模型。如通义的模型版本分为qwen-plus、qwen-turbo、qwen-max。更多请参见模型列表

qwen-plus

步骤二:大模型网关测试

自定义测试内容发送给模型进行测试并返回测试结果和内容。

智能联络中心控制台>大模型通信>通信智能引擎>大模型网关配置页签,单击已创建的大模型网关的测试,在弹出的对话框中输入测试内容,单击测试查看测试结果和内容。

image

image

步骤三:大模型网关上线

大模型网关上线前需要先经过测试,测试通过后才可以上线。在控制台中单击已通过测试网关的上线按钮,在弹出的对话框中单击确认上线

说明
  • 已上线的网关可被大模型应用关联,下线后无法被应用关联。

  • 网关上线后只能下线和新增基模,不能删除、编辑。被应用关联的网关可以下线。

后续操作

  • 新增基模版本:已上线的大模型网关可以在原有基模板本基础上新增基模板本,并自定义测试内容发送给模型进行测试。

    智能联络中心控制台>大模型通信>通信智能引擎>大模型网关配置页签,单击已上线的大模型网关的新增基模,在弹出的对话框中输入新增的基模板本,在内容项中输入测试内容,单击测试查看测试结果和内容。在测试结果通过后单击提交完成新增基模。

    image

    image

  • 大模型网关下线

    若需下线单击已上线大模型网关的下线按钮,在弹出的对话框中单击确认下线

    说明

    被应用关联的网关下线后,应用无法正常被调用。