大模型应用开发(LangStudio)概述

LangStudio是一个可视化大模型应用开发平台,提供知识库、联网搜索、智能体(Agent)等多种预置组件,支持从开发、调试到一键部署的完整流程,帮助企业快速构建生产级AI应用。

产品优势

  • 无缝对接PAI生态:提供从模型调用、代码开发、批量评测到弹性部署的一站式解决方案,全面支持AI应用从概念验证(POC)快速走向生产部署。

  • 生产级监控与调优能力:深度集成阿里云可观测链路OpenTelemetry版和日志服务SLS,提供完整的调用链追踪和性能分析能力。

  • 企业级安全与稳定保障:通过VPC内网隔离、基于角色的精细化权限控制和专属资源部署等保障企业级应用的高可用性与安全性。

核心功能

  • 应用流开发:允许开发者以图形化方式构建大模型应用。

    • 可视化编辑器:通过图形化画布,允许开发者将大模型、Python代码、外部工具等组件拖拽连接,编排成一个可执行的应用流。

    • 预置模板:内置知识库问答、NL2SQL等典型应用场景的模板,开箱即用,减少重复搭建成本。

    • 连接配置:提供统一的连接配置中心,管理与外部服务(如数据库、API、模型)的认证信息和连接参数,实现一次配置、多处复用。

  • 调试与性能分析:提供在线调试与调用链追踪能力,帮助开发者快速识别瓶颈与异常,提升应用稳定性与响应效率。

    • 交互式运行:在开发界面提供对话窗口,开发者可以实时输入问题并查看应用输出,快速验证应用逻辑是否符合预期。

    • 调用链分析:以可视化调用链(Trace)形式展示每个节点的输入、输出、耗时与错误日志,便于定位延迟来源或逻辑缺陷。

  • 应用流部署:支持将调试完成的应用流快速发布为在线API服务,并提供部署后的可观测性支持。

    • 一键部署:将应用流一键部署至PAI-EAS(模型在线服务),自动生成RESTful API,支持身份认证与流量控制。

    • 在线观测:服务部署后,可查看请求详情、调用链路与运行日志,持续监控服务健康状态并辅助故障排查。

产品架构图如下:

image

适用场景

企业级RAG应用

针对专业领域知识更新频繁、通用大模型回答准确性不足的问题,结合企业私有知识库构建检索增强生成(RAG)应用,提升问答结果的专业性与时效性。

  • 动态知识更新:内置数据同步工具,支持配置定时任务,自动化更新知识库索引,确保模型回答的时效性。

  • 安全与隐私保障:确保企业数据在模型训练和推理过程中的安全与隔离,严格遵循数据隐私法规和内部审计要求。

NL2SQL智能BI助手

非技术人员难以编写SQL查询,导致数据分析效率低下。通过自然语言描述数据需求,自动转换为结构化SQL语句,降低使用门槛,提升报表生成速度。

  • 智能查询生成:理解用户的自然语言意图,生成对应数据库语法的SQL语句。

  • 自动化报表生成:基于查询结果,自动生成图表或数据报表。

  • 数据洞察与建议:基于历史数据分析,提供智能化的业务洞察和决策建议。

多模态Chat Agent

支持集成语音识别、图像理解等模型,构建能够处理多模态输入的智能体 (Agent)。通过内置的状态管理和工具调用节点,可实现复杂的任务流转。

地域限制

目前LangStudio支持在以下地域使用:华东1(杭州)、华东2(上海)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)、中国(香港)、新加坡、日本(东京)、德国(法兰克福)、美国(弗吉尼亚)。为降低延迟,建议选择靠近您业务数据源或目标用户的地域。

计费说明

LangStudio 平台本身免费,但其运行依赖的底层云产品将按各自的标准单独计费,包括对象存储OSS(用于保存工作文件)、可观测链路OpenTelemetry版(用于调用链追踪)、日志服务SLS(用于日志采集)以及PAI-EAS(用于服务部署)等。费用详情请参见大模型应用开发(LangStudio)计费说明

使用流程

应用开发与部署流程如下:

image
说明

首次使用LangStudio需开通相关云产品服务并完成服务角色授权,详情请参见云产品依赖与授权:LangStudio

以下步骤演示如何基于阿里云百炼模型服务创建一个简单的对话应用。

  1. 创建模型服务连接。在连接 > 模型服务页面,单击新建连接,连接类型选择百炼大模型服务,按照页面提示前往阿里云百炼控制台获取API Key

  2. 创建应用流。应用流页面,单击新建应用流新建方式选择按类型新建,选择对话型。并选择一个OSS Bucket作为工作路径,用来存储应用流的代码和相关文件。

  3. 编辑应用流。进入应用流详情页面,单击大模型节点,选择步骤1创建的阿里云百炼模型服务连接,并根据场景选择一个模型,例如qwen-max

  4. 绑定运行时并调试。调试前,需为应用流创建并绑定一个运行时(为应用提供调试运行环境)。

    1. 在画布左上方的下拉菜单中,选择一个已有运行时,或单击新建运行时

    2. 运行时绑定成功后,单击运行,在对话框中,输入问题。输出内容下方可以查看链路和日志,对应用流进行迭代开发、问题诊断与性能调优。

      image

  5. 部署至PAI-EAS。单击右上角部署,选择合适的部署资源,并配置专有网络。

    说明

    因阿里云百炼的模型服务需通过公网访问,而PAI-EAS服务默认无法访问公网,故需通过VPCNAT网关让PAI-EAS服务访问公网

  6. 测试服务API。部署成功后,跳转到PAI-EAS服务详情页面,在在线调试页签下配置并发送请求。请求体示例:{"question":"3+9等于几"}。更多调用方式参见调用服务

    重要

    请求体中的Key(本例中为question)需与应用流开始节点中定义的输入参数名一致。