应用流开发中需要访问外部服务(如模型、数据库等),通过创建可复用的连接来存储访问信息,在应用流节点直接选用。
模型服务连接
模型服务连接用于管理LangStudio工作流中调用的各种模型服务,您可以根据模型类型和服务提供方创建对应的连接配置。
配置方式:进入LangStudio > 连接>模型服务,单击新建连接,不同连接类型的参数配置说明如下。
连接类型 | 关键参数说明 |
通用LLM模型服务 | 配置兼容OpenAI协议的LLM服务。
|
通用Embedding模型服务 | 配置已部署至EAS或第三方的Embedding模型服务。 |
通用多模态Embedding模型服务 | 配置已部署至EAS或第三方的多模态Embedding模型服务,支持图像、文本等多种模态数据的向量化。 |
百炼大模型服务 | 填写与base_url同地域的api_key,参见获取API Key。 |
DeepSeek模型服务 | api_key:访问DeepSeek 官网,创建或查询api_key。 |
AI搜索开放平台模型服务 | |
多模态VL智能标注模型 | 用于多模态数据智能打标。 |
通用Reranker模型服务 | 用于对嵌入模型返回的前k个文档重新排序,仅支持ModelGallery部署的模型服务。 |
数据库连接
数据库连接用于保存各种数据库的访问配置。
配置方式:进入LangStudio > 连接>数据库,单击新建连接,参数配置说明如下。
数据库 | 关键参数说明 |
Elasticsearch |
|
OpenSearch |
|
Milvus |
|
Hologres |
|
RDS-MySQL |
|
搜索服务连接
创建阿里云IQS-联网搜索的连接,为大模型应用提供实时联网搜索的能力。
前提条件
请确认已开通阿里云信息查询服务,详情请参见新用户使用指引。
配置步骤
进入LangStudio,选择地域和工作空间。
切换到连接>搜索服务页签,单击新建连接。
连接类型:选择阿里云IQS联网搜索。
api_key:通过信息查询服务-凭证管理查看。
自定义连接
如果模型服务、数据库、搜索服务的连接均不能满足需求,您可以通过键值对(key-value)创建自定义连接。
例如:配置SerpApi连接。
自定义键:填写api_key。
自定义值:填写SerpApi的API Key。
可通过 SerpApi官网注册账号并获取API Key(免费版每月可提供100次搜索机会)。
后续操作
创建完连接后,您可以在工作流应用开发中使用。