LangStudio【内测中】

使用限制

• 目前LangStudio支持的地域为华东1（杭州）。

• 当前LangStudio为白名单邀测阶段，如果您有试用需求，请提交工单或联系您的阿里云商务经理。

前提条件

• LangStudio需要使用OSS产品进行存储，请创建OSS Bucket存储空间，具体操作，请参见控制台创建存储空间。

• 已开通PAI服务并创建PAI工作空间，操作详情请参见开通PAI并创建默认工作空间。

准备工作

授权访问云资源

第一次使用LangStudio时，需要授予LangStudio访问云资源的权限。

准备DSW实例

LangStudio是一个在线开发LLM应用的平台，需要准备对应的DSW实例用于配置在线开发环境。具体操作，请参见创建及管理DSW实例。

其中，关键参数配置如下，其它参数按需配置即可：

• 实例名称：为保证在LangStudio中被正确识别，DSW实例名称必须包含llm_前缀。

• 存储配置：单击共享数据集，将您的LLM应用目录作为OSS数据集，挂载到/mnt/workspace/目录下。

• 选择镜像：建议使用镜像dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-common/langstudio-beta-release:0.1.0。

操作步骤

步骤一：创建应用

创建LLM应用包括从模版创建和按类型创建两种方式，本文以从模版创建为例进行说明。

1. 进入LangStudio页面。

   1. 登录PAI控制台。

   2. 选择目标地域为华东1（杭州）。

   3. 在左侧导航栏，选择场景化解决方案>LangStudio。

   4. 选择目标工作空间后，单击进入LangStudio。

2. 在LangStudio页面单击新建LLM应用。

3. 在从模版新建页签中，单击从模版新建。

4. 配置以下关键参数。

   • 运行环境：选择状态为运行中的DSW实例。创建DSW实例的具体操作，请参见创建及管理DSW实例。

   • 存储路径：对象存储OSS的存储路径。

5. 单击确定。

步骤二：编辑应用

在应用列表中选择一个LLM应用，进入编辑界面。LangStudio内置了JupyterLab开发环境，您可在界面中直接编辑应用代码。目前LangStudio只支持使用DSW实例的JupyterLab的方式在线修改知识库构建和应用部署部分的代码。

通常来说，一个应用可进行以下两个操作步骤：

1. 知识库构建（可选）：知识库构建是检索增强生成（Retrieval Augmented Generation, RAG）流程中的核心步骤，通过向量化业务数据的方式，构建自定义的知识库。RAG类应用在和用户交互的过程中，会按需调用知识库中的内容，并以此为依据来做出回应。

2. LLM应用部署：LLM应用在开发完成后需要部署成为一个在线服务。服务部署成功后，用户可以通过WebUI的方式直接在页面上进行交互，或通过API调用的方式将LLM应用集成进自己的产品中。

如果选择从模版创建应用，则在JupyterLab中已经内置好PAI提供的示例应用代码，您只需要根据自身业务需求修改部分代码，即可完成应用构建。

步骤三：发布应用

构建知识库

1. 单击构建。

   LangStudio会在PAI平台启动一个任务用于构建自定义的知识库。

2. 配置以下关键参数：

   • 执行命令：构建任务的实际执行命令。示例代码中为执行Python代码build.py。

   • 最大运行时长：为避免因意外原因产生的任务过量计费，可设置任务的最大运行时长。若任务运行时间超过最大时长，则任务会被强制终止。当该值设置为0时，任务不会被终止。

   

3. 单击确定。

部署LLM应用

1. 单击部署。将LangStudio应用发布成一个PAI平台上的在线服务。

2. 配置以下关键参数：

   • 执行命令：部署服务的实际执行命令。示例代码中为执行Python代码serve.py。

   • 端口：在线服务可被访问的端口。（8080端口无法使用）

   • 部署为Web服务：如果启用，则服务可以通过WebUI的形式进行访问。

   

3. 单击确定。

构建/部署记录

单击应用编辑界面的构建/部署记录，可以在构建记录和部署记录页签中查看或管理历史构建与部署的任务。