接入百炼平台应用

本文介绍如何在多模态交互应用中接入百炼平台应用,以及在客户端调用。

在多模态交互开发套件中,我们预置了多种官方插件和 Agent。当官方能力不能满足您的特定需求时,您也可以将自己开发的百炼平台应用(如智能体应用、工作流应用等)接入到多模态平台,实现能力更丰富的多模态交互。

本文档以创建和接入一个【西游记大全】应用为例,介绍如何在多模态应用中接入百炼平台应用。

创建和配置百炼应用

  1. 创建百炼平台应用,参考应用简介

  2. 配置应用,调整模型、提示词和其他需要的能力。应用名修改为【西游记大全】。

  3. 测试并发布应用。

image

在多模交互应用中接入

在您的多模交互应用中导入上个步骤配置好的【西游记大全】。

  1. 在菜单Agent - 添加 - 我的应用 中选中【西游记大全】,点击确定导入。

  2. 发布应用。

image

应用测试和参数配置

应用测试

在多模应用中导入【西游记大全】后,我们可以在网页进行测试。

进入【西游记大全】应用的方式为语音说: 打开西游记大全,帮我查一下三清是谁

image

参数配置

在【西游记大全】应用中,我们配置了一个名为${user_name}的参数。代表用户昵称,默认值为“小宝”。

通过 SDK 调用多模应用,我们可以在代码中配置${user_name}

一级参数

二级参数

三级参数

四级参数

参数说明

biz_params

多模请求参数中的biz_params

user_defined_params

透传用户自定义参数

user_defined_app_id

导入的百炼应用 id

user_prompt_params

类型为 Object

对应百炼应用prompt 的自定义变量名和值。

  • 格式化示例

{
    "biz_params": {
        "user_defined_params": {
            "84***********************acc": {
                "user_prompt_params": {
                    "user_name": "大米"
                }
            }
        }
    }
}

客户端验证

以 Android SDK 为例。

  • 在建联参数中设置变量值。

HashMap<String, Object> appParams = new HashMap<>();
appParams.put("user_name","大米");
HashMap<String, Object> userPromptParams = new HashMap<>();
userPromptParams.put("user_prompt_params",appParams);
HashMap<String, Object> userDefinedParams = new HashMap<>();
userDefinedParams.put("67f3ad7d6496475483db4a184c926e77",userPromptParams); //西游记大全的 appid

MultiModalRequestParam.BizParams bizParams = MultiModalRequestParam.BizParams
   .builder()
   .userDefinedParams(userDefinedParams)
   .build();
  • 运行 Demo 通过语音请求【西游记大全】 Agent。由于端侧设置了用户名为“大米”,可以看到 APP 回复的昵称为“大米”,验证链路测试通过。

image