连接配置用于存储访问LangStudio外部服务(已部署的模型、向量数据库等)的信息,包括端点(Endpoint)和API密钥等。一旦完成配置,您可以在不同的应用流中重复使用这些连接,以简化集成流程。本文为您介绍如何创建连接。
功能介绍
LangStudio支持创建以下三种连接类型:
模型服务:
模型服务连接用于管理LangStudio工作流中调用的各种模型服务,包括部署至PAI-EAS平台的LLM模型服务、Embedding模型服务以及阿里云百炼大模型服务。
数据库:数据库连接用于保存各种数据库的访问配置。支持的数据库类型包括实时数仓-Hologres、向量数据库-Milvus、向量数据库-DashVector、检索分析服务-Elasticsearch和阿里云RDS-MySQL。
自定义连接:如果上述两种连接类型不能满足您的需求,您可以灵活地使用键值对自定义连接配置,来满足特定需求,尤其适用于Python工具。
创建连接
您可以通过创建连接,与数据库或模型服务进行关联,具体操作步骤如下:
登录PAI控制台,在右侧选择目标工作空间后,单击进入LangStudio,切换到连接管理页签,然后单击新建连接。
在新建连接页面,配置以下关键参数。
您可以根据实际场景需要选择连接类型,并配置相应参数:
模型服务
支持使用以下三种类型的模型服务连接:
通用LLM模型服务连接
配置已在PAI-EAS平台部署好的大语言模型服务连接信息。如果没有部署模型服务,您可以将通过PAI-DLC或PAI-DSW训练获得的模型部署为PAI-EAS服务,或参考通过PAI控制台使用模型,前往快速开始>Model Gallery页面,部署场景为大语言模型的服务。
参数
说明
base_url
您可以按照以下步骤获取参数值:
进入模型在线服务页面,并单击目标模型服务名称。
在服务详情页面,单击查看调用信息,然后在调用信息对话框的VPC地址调用页签,查看访问地址和Token。
其中base_url填入访问地址,api_key填入Token。
api_key
通用Embedding模型服务连接
配置已在PAI-EAS平台部署好的大语言模型服务连接信息。您可以将通过PAI-DLC或PAI-DSW训练获得的模型部署为PAI-EAS服务,或参考通过PAI控制台使用模型,前往快速开始>Model Gallery页面,部署场景为Embedding的服务。
参数
说明
base_url
您可以按照以下步骤获取参数值:
进入模型在线服务页面,并单击目标模型服务名称。
在服务详情页面,单击查看调用信息,然后在调用信息对话框的VPC地址调用页签,查看base_url和api_key。
api_key
百炼大模型服务连接
按照以下操作步骤获取API Key,并配置api_key参数。
数据库
支持使用以下5种类型的数据库连接:
实时数仓-Hologres
参数
说明
host
进入Hologres管理控制台的实例详情页,从网络信息区域获取指定VPC的host和port。
port
database
Hologres创建的数据库名称。如何创建数据库,详情请参见创建数据库。
user
在Hologres实例详情页面,切换到账号管理Tab页,创建自定义用户。具体操作,请参见用户管理。
其中:选择成员角色选择实例超级管理员(SuperUser)。
password
向量数据库-Milvus
参数
说明
uri
Milvus实例的访问地址,例如
http://<Milvus内网访问地址>
,您可以在Milvus实例的实例详情页面查看。token
该Token是登录Milvus实例的用户名和密码。格式为
<yourUsername>:<yourPassword>
。database
数据库名称。创建Milvus实例时,系统会默认创建数据库default,您也可以手动创建新的数据库,具体操作,请参见管理Databases。
向量数据库-DashVector
参数
说明
endpoint
创建Cluster,并获取专有网络(VPC)Endpoint信息。
api_key
获取api_key,具体操作,请参见API-KEY管理。
检索分析服务-Elasticsearch
参数
说明
url
Elasticsearch URL格式为
http://<私网地址>:<私网端口>
,如何获取Elasticsearch的地址和端口号,请参见查看实例的基本信息。username
ES username默认为elastic,ES password是您在创建ES实例时设置的登录密码。如果您忘记了登录密码,可重置实例访问密码。
password
阿里云RDS-MySQL
参数
说明
host
如何获取host(内网地址)和port(内网端口),请参见查看内外网地址和端口。
port
database
数据库名称。如何获取数据库名称,请参见第一步:快捷创建RDS MySQL实例与配置数据库。
username
如何获取用户名和密码,请参见第一步:快捷创建RDS MySQL实例与配置数据库。
password
自定义连接
配置键值对,勾选私密复选框,系统内部会加密存储自定义值,请至少设置一个私密字段。
参数配置完成后,单击确定。
后续您可以对已成功创建的连接执行修改和删除操作,修改或者删除连接不会影响已经部署为服务的应用流,但在应用流运行期间,您需要确保连接的有效性。
相关文档
连接配置创建完成后,您可以在应用流中使用这些连接,详情请参见应用流开发。