本文介绍如何在多模态交互应用中接入百炼平台应用,以及在客户端调用。
在多模态交互开发套件中,我们预置了多种官方插件和 Agent。当官方能力不能满足您的特定需求时,您也可以将自己开发的百炼平台应用(如智能体应用、工作流应用等)接入到多模态平台,实现能力更丰富的多模态交互。
本文档以创建和接入一个【西游记大全】应用为例,介绍如何在多模态应用中接入百炼平台应用。
创建和配置百炼应用
创建百炼平台应用,参考应用简介。
配置应用,调整模型、提示词和其他需要的能力。应用名修改为【西游记大全】。
测试并发布应用。
在多模交互应用中接入
在您的多模交互应用中导入上个步骤配置好的【西游记大全】。
在菜单Agent - 添加 - 我的应用 中选中【西游记大全】,点击确定导入。
发布应用。
应用测试和参数配置
应用测试
在多模应用中导入【西游记大全】后,我们可以在网页进行测试。
进入【西游记大全】应用的方式为语音说: 打开西游记大全,帮我查一下三清是谁。
参数配置
在【西游记大全】应用中,我们配置了一个名为${user_name}的参数。代表用户昵称,默认值为“小宝”。
通过 SDK 调用多模应用,我们可以在代码中配置${user_name}
。
一级参数 | 二级参数 | 三级参数 | 四级参数 | 参数说明 |
biz_params | 多模请求参数中的biz_params | |||
user_defined_params | 透传用户自定义参数 | |||
user_defined_app_id | 导入的百炼应用 id | |||
user_prompt_params | 类型为 Object 对应百炼应用prompt 的自定义变量名和值。 |
格式化示例
{
"biz_params": {
"user_defined_params": {
"84***********************acc": {
"user_prompt_params": {
"user_name": "大米"
}
}
}
}
}
客户端验证
以 Android SDK 为例。
在建联参数中设置变量值。
HashMap<String, Object> appParams = new HashMap<>();
appParams.put("user_name","大米");
HashMap<String, Object> userPromptParams = new HashMap<>();
userPromptParams.put("user_prompt_params",appParams);
HashMap<String, Object> userDefinedParams = new HashMap<>();
userDefinedParams.put("67f3ad7d6496475483db4a184c926e77",userPromptParams); //西游记大全的 appid
MultiModalRequestParam.BizParams bizParams = MultiModalRequestParam.BizParams
.builder()
.userDefinedParams(userDefinedParams)
.build();
运行 Demo 通过语音请求【西游记大全】 Agent。由于端侧设置了用户名为“大米”,可以看到 APP 回复的昵称为“大米”,验证链路测试通过。
该文章对您有帮助吗?