大模型应用开发LangStudio概述

大模型应用开发(LangStudio)是基于微软开源框架Promptflow,并结合阿里云产品特性,开发的一款一站式白盒化大模型应用开发平台。该平台采用直观的交互式环境,简化企业级大模型应用的开发流程,并提供了实时调试与链路追踪的能力,可以在构建应用的同时进行性能评估与优化。配合一键部署PAI-EAS,您可以将开发的大模型应用部署至生产环境。

产品功能架构

image
  • 应用流构建:LangStudio以应用流的方式来支持大模型应用的开发,您可以通过添加和编辑不同类型的节点,将输入输出进行串联,构造符合业务需求的大模型应用。

    • 应用流编辑器:通过串联LLMPython工具等节点,编排大语言模型应用流。

    • 应用流模板:提供常见的场景模板,例如知识库问答、NL2SQL以及工具调用等。

    • 连接配置:通过创建和配置连接,与数据库、API、大模型服务进行关联,创建后可在应用流内引用已定义的连接,支持在不同的工作流和项目中重复使用这些连接,简化集成流程。

    • 知识库构建:通过Designer模板完成数据处理和向量知识库构建。

  • 性能调优:可视化的应用流运行和链路跟踪,方便您诊断分析和调试。

    • 在线运行:支持通过对话窗口与应用流线上进行输入交互,实时测试应用流效果。

    • 调用链分析:测试结果提供可视化调用链分析(Trace),帮助您了解链路中不同Span的表现,方便调试。

  • 服务部署:

    • 一键部署PAI-EAS:在构建和测试应用流之后,可一站式将应用流部署至PAI-EAS。

    • 在线观测/调用链分析:部署后可在线上环境观测调用所产生的链路追踪。

产品优势

  • 降低LLM应用开发门槛:

    提供多种常用的应用流模板,帮助您快速构建端到端的LLM应用。平台隐藏了不必要的复杂性,您无需深入底层配置,可以将更多精力专注于LLM应用功能的构建。

  • 开发调优自主可控:

    支持白盒化的应用流编排和代码开发,您可以对模型的行为和工具的调用拥有全面理解和掌控,提升问题的定位与解决效率。通过简易的管理系统与直观的可视化界面,可以针对特定的业务需求轻松调整应用各环节逻辑,优化LLM应用程序性能,快速比较并选择最优方案。

  • 无缝构建企业级应用:

    支持从初步概念验证(POC)到生产环境的无缝衔接,不仅适用于POC阶段,还能够支持企业级应用的部署与长期运营。平台适合不同规模的企业,能够一站式将应用流部署至PAI-EAS,实现高效运营。其中企业级应用具有以下特点:

    • 使用专属资源进行调试和部署。

    • 业务数据、模型服务和大模型应用整条链路都可以在您的VPC内完成,实现最大程度的数据安全和网络隔离。

    • 提供精细化的角色管理和权限管理。

  • PAIAI能力和工具链无缝串联:

    • 使用Model Gallery中的基模或微调的模型。

    • 使用Designer进行离线知识库的构建和更新。

    • 基于PAI-DSW运行时,提供更好的代码体验。

    • 使用PAI-DLC进行批量运行和评测。

    • 使用PAI-EAS进行应用部署和服务管控。

适用场景

企业级RAG应用

结合训练好的LLM大模型与企业私有业务领域数据的知识库,提升大模型的问答能力和专业性:

  • 动态知识更新:定期或实时更新企业私有数据,确保大模型能够利用最新的数据进行问答,提升答案的时效性和准确性。

  • 安全与隐私保障:确保企业数据在模型训练和推理过程中的安全性,严格遵循数据隐私法规和内部审计要求。

NL2SQL智能BI助手

通过自然语言到SQL的转换,将您的相关业务需求转化为具体的数据查询,增强数据分析能力:

  • 智能查询生成:您可通过自然语言描述需求,系统将自动生成SQL查询,降低技术门槛。

  • 自动化报表生成:根据查询结果,自动生成可视化报表,便于决策层快速了解业务情况。

  • 数据洞察与建议:基于历史数据分析,提供智能洞察和操作建议,帮助您发现潜在的业务机会。

多模态Chat Agent

结合文本、语音、图像等多种输入形式,提供更为丰富和智能化的交互体验。

地域限制

目前大模型应用开发(LangStudio)仅支持在华东1(杭州)地域使用。

计费说明

在使用LangStudio开发大模型应用时,您使用的对象存储OSS、可观测链路OpenTelemetry版、日志服务SLSPAI-EAS等产品会产生相关费用。计费详情,请参见大模型应用开发(LangStudio)计费说明

使用流程

image

您可以参见RAG应用流的开发与部署,基于检索增强生成LLM应用场景,带您快速体验端到端流程。

  • 服务开通并授权LangStudio:首次使用大模型应用开发LangStudio需要进行服务角色授权与开通,详情请参见云产品依赖与授权:LangStudio

  • 连接配置:用于存储访问LangStudio外部服务(如模型服务、数据库及其他工具)的信息,配置后可在不同的应用流中重复使用,以简化集成流程,详情请参见连接管理

  • 创建应用流:LangStudio为应用流开发提供了直观且高效的集成开发环境,您可以构建由大语言模型、Python节点以及其他工具组成的业务流,支持从模板创建或根据类型创建的方式,详情请参见应用流开发

  • 应用流开发调试/性能调优:通过在线调试或链路追踪的方法,对应用流进行开发调试和性能调优。

  • 部署应用流:可以将调试好的应用流一键部署至PAI-EAS,作为生产环境使用,详情请参见应用流部署