连接管理

连接配置用于存储访问LangStudio外部服务(已部署的模型、向量数据库等)的信息,包括端点(Endpoint)和API密钥等。一旦完成配置,您可以在不同的应用流中重复使用这些连接,以简化集成流程。本文为您介绍如何创建连接。

功能介绍

LangStudio支持创建以下三种连接类型:

  • 模型服务

    模型服务连接用于管理LangStudio工作流中调用的各种模型服务,包括部署至PAI-EAS平台的LLM模型服务、Embedding模型服务以及阿里云百炼大模型服务。

  • 数据库:数据库连接用于保存各种数据库的访问配置。支持的数据库类型包括实时数仓-Hologres、向量数据库-Milvus、向量数据库-DashVector、检索分析服务-Elasticsearch和阿里云RDS-MySQL。

  • 自定义连接:如果上述两种连接类型不能满足您的需求,您可以灵活地使用键值对自定义连接配置,来满足特定需求,尤其适用于Python工具。

创建连接

您可以通过创建连接,与数据库或模型服务进行关联,具体操作步骤如下:

  1. 登录PAI控制台,在右侧选择目标工作空间后,单击进入LangStudio,切换到连接管理页签,然后单击新建连接

  2. 新建连接页面,配置以下关键参数。

    您可以根据实际场景需要选择连接类型,并配置相应参数:

    • 模型服务

      支持使用以下三种类型的模型服务连接:

      通用LLM模型服务连接

      配置已在PAI-EAS平台部署好的大语言模型服务连接信息。如果没有部署模型服务,您可以将通过PAI-DLCPAI-DSW训练获得的模型部署为PAI-EAS服务,或参考通过PAI控制台使用模型,前往快速开始>Model Gallery页面,部署场景大语言模型的服务。

      参数

      说明

      base_url

      您可以按照以下步骤获取参数值:

      1. 进入模型在线服务页面,并单击目标模型服务名称。

      2. 服务详情页面,单击查看调用信息,然后在调用信息对话框的VPC地址调用页签,查看访问地址和Token。image

      其中base_url填入访问地址,api_key填入Token。

      api_key

      通用Embedding模型服务连接

      配置已在PAI-EAS平台部署好的大语言模型服务连接信息。您可以将通过PAI-DLCPAI-DSW训练获得的模型部署为PAI-EAS服务,或参考通过PAI控制台使用模型,前往快速开始>Model Gallery页面,部署场景Embedding的服务。

      参数

      说明

      base_url

      您可以按照以下步骤获取参数值:

      1. 进入模型在线服务页面,并单击目标模型服务名称。

      2. 服务详情页面,单击查看调用信息,然后在调用信息对话框的VPC地址调用页签,查看base_urlapi_key。image

      api_key

      百炼大模型服务连接

      按照以下操作步骤获取API Key,并配置api_key参数。

      1. 开通服务:首先您需要注册登录阿里云账号,然后前往阿里云百炼模型广场开通模型服务。

      2. 获取API Key:在控制台的右上角选择API-KEY,然后创建API Key用于通过API调用大模型。

        image

    • 数据库

      支持使用以下5种类型的数据库连接:

      实时数仓-Hologres

      参数

      说明

      host

      进入Hologres管理控制台的实例详情页,从网络信息区域获取指定VPChostport。

      port

      database

      Hologres创建的数据库名称。如何创建数据库,详情请参见创建数据库

      user

      Hologres实例详情页面,切换到账号管理Tab页,创建自定义用户。具体操作,请参见用户管理

      其中:选择成员角色选择实例超级管理员(SuperUser)

      password

      向量数据库-Milvus

      参数

      说明

      uri

      Milvus实例的访问地址,例如http://<Milvus内网访问地址>,您可以在Milvus实例的实例详情页面查看。

      token

      Token是登录Milvus实例的用户名和密码。格式为<yourUsername>:<yourPassword>

      database

      数据库名称。创建Milvus实例时,系统会默认创建数据库default,您也可以手动创建新的数据库,具体操作,请参见管理Databases

      向量数据库-DashVector

      参数

      说明

      endpoint

      创建Cluster,并获取专有网络(VPC)Endpoint信息。

      api_key

      获取api_key,具体操作,请参见API-KEY管理

      检索分析服务-Elasticsearch

      参数

      说明

      url

      Elasticsearch URL格式为http://<私网地址>:<私网端口>,如何获取Elasticsearch的地址和端口号,请参见查看实例的基本信息

      username

      ES username默认为elastic,ES password是您在创建ES实例时设置的登录密码。如果您忘记了登录密码,可重置实例访问密码

      password

      阿里云RDS-MySQL

      参数

      说明

      host

      如何获取host(内网地址)和port(内网端口),请参见查看内外网地址和端口

      port

      database

      数据库名称。如何获取数据库名称,请参见第一步:快捷创建RDS MySQL实例与配置数据库

      username

      如何获取用户名和密码,请参见第一步:快捷创建RDS MySQL实例与配置数据库

      password

    • 自定义连接

      配置键值对,勾选私密复选框,系统内部会加密存储自定义值,请至少设置一个私密字段。image

  3. 参数配置完成后,单击确定

后续您可以对已成功创建的连接执行修改和删除操作,修改或者删除连接不会影响已经部署为服务的应用流,但在应用流运行期间,您需要确保连接的有效性。

相关文档

连接配置创建完成后,您可以在应用流中使用这些连接,详情请参见应用流开发