魔笔平台提供了强大的自定义大模型集成功能,允许用户通过简单的配置,实现对兼容 OpenAI 接口的大模型无缝连接和数据交互。本文档将指导您如何创建和使用自定义大模型集成。
功能介绍
魔笔平台的自定义大模型集成功能支持以下特点:
自定义触发方式:集成操作可以设置为手动触发或自动运行,满足不同的业务场景需求。
回调和数据转换:支持在查询成功或失败时执行特定的集成操作事件,以及对返回的数据进行自定义处理。
高级设置:提供防抖和禁止执行条件的高级配置,以优化集成操作的执行。
事件相关内容可参考:集成操作事件
使用自定义大模型集成
步骤 1:创建自定义大模型集成
登录魔笔平台,进入管控台。
导航至“资源”->“集成”,点击“创建集成”。
选择“自定义大模型”,并填写集成名称及描述。
配置不同环境的自定义大模型集成信息,包括
OpenAI 接口地址
和API-KEY
。点击“确定”创建自定义大模型集成。
步骤 2:在应用内部创建集成操作
打开“代码”面板,点击对应作用域的“+”后选中“集成操作”。
选择之前创建的 OpenAI 集成作为资源,选择操作类型后会展开该操作类型下的所有参数,配置参数后点击运行获取返回结果。
点击“运行”预览查询效果。
配置面板详解
集成配置
关于OpenAI 接口,可以参考魔搭社区 API 推理介绍。
OpenAI 接口地址:定义了兼容 OpenAI 接口的服务地址,例如魔搭平台服务地址
https://api-inference.modelscope.cn/v1
,DeepSeek 平台服务地址https://api.deepseek.com/v1
。API-KEY:定义了预期发起 OpenAI 请求所使用的访问凭证,例如魔搭平台的
SDK token
,魔搭账号获取SDK token
的地址:https://modelscope.cn/my/myaccesstoken,DeepSeek 平台的 API-Key 获取地址:https://platform.deepseek.com/api_keys
通用配置
模型:定义了调用的模型名称。魔搭平台支持的模型可以参考魔搭社区 API 推理介绍。DeepSeek 平台的模型支持
deepseek-chat
和deepseek-reasoner
,关于 DeepSeek 平台的模型可以参考 DeepSeek API 文档。对话上下文:定义了调用接口传递的消息对象数组
messages
,消息对象包含角色和内容。sse:启用流式响应开关。
parameters: 定义了传递给接口的额外参数,包括
生成token个数的上限
和随机数种子
。
回调配置
数据转化:对接口返回的数据进行处理,默认为
return data
,即不进行处理。成功回调:配置接口调用成功时触发的事件。
失败回调:配置接口调用失败时触发的事件。
高级配置
防抖:设置防抖表达式,避免接口的频繁调用。
禁止执行条件:根据条件表达式确定是否执行此集成操作。
手动触发集成
事件触发
在需要触发集成操作的组件中,配置事件处理器。
将动作类型设置为集成操作,并选择相应的集成。
以对象形式填写已配置的参数。
API 触发
若此集成操作的名称为action1
,则在任何可以执行脚本的地方,可以使用action1.trigger()
方法触发集成操作,若集成操作配置了参数,则需要以对象形式填写已配置的参数。