大模型应用开发(LangStudio)是基于微软开源框架Promptflow,并结合阿里云产品特性,开发的一款一站式白盒化大模型应用开发平台。该平台采用直观的交互式环境,简化企业级大模型应用的开发流程,并提供了实时调试与链路追踪的能力,可以在构建应用的同时进行性能评估与优化。配合一键部署PAI-EAS,您可以将开发的大模型应用部署至生产环境。
产品功能架构
应用流构建:LangStudio以应用流的方式来支持大模型应用的开发,您可以通过添加和编辑不同类型的节点,将输入输出进行串联,构造符合业务需求的大模型应用。
应用流编辑器:通过串联LLM和Python工具等节点,编排大语言模型应用流。
应用流模板:提供常见的场景模板,例如知识库问答、NL2SQL以及工具调用等。
连接配置:通过创建和配置连接,与数据库、API、大模型服务进行关联,创建后可在应用流内引用已定义的连接,支持在不同的工作流和项目中重复使用这些连接,简化集成流程。
知识库构建:通过Designer模板完成数据处理和向量知识库构建。
性能调优:可视化的应用流运行和链路跟踪,方便您诊断分析和调试。
在线运行:支持通过对话窗口与应用流线上进行输入交互,实时测试应用流效果。
调用链分析:测试结果提供可视化调用链分析(Trace),帮助您了解链路中不同Span的表现,方便调试。
服务部署:
一键部署PAI-EAS:在构建和测试应用流之后,可一站式将应用流部署至PAI-EAS。
在线观测/调用链分析:部署后可在线上环境观测调用所产生的链路追踪。
产品优势
降低LLM应用开发门槛:
提供多种常用的应用流模板,帮助您快速构建端到端的LLM应用。平台隐藏了不必要的复杂性,您无需深入底层配置,可以将更多精力专注于LLM应用功能的构建。
开发调优自主可控:
支持白盒化的应用流编排和代码开发,您可以对模型的行为和工具的调用拥有全面理解和掌控,提升问题的定位与解决效率。通过简易的管理系统与直观的可视化界面,可以针对特定的业务需求轻松调整应用各环节逻辑,优化LLM应用程序性能,快速比较并选择最优方案。
无缝构建企业级应用:
支持从初步概念验证(POC)到生产环境的无缝衔接,不仅适用于POC阶段,还能够支持企业级应用的部署与长期运营。平台适合不同规模的企业,能够一站式将应用流部署至PAI-EAS,实现高效运营。其中企业级应用具有以下特点:
使用专属资源进行调试和部署。
业务数据、模型服务和大模型应用整条链路都可以在您的VPC内完成,实现最大程度的数据安全和网络隔离。
提供精细化的角色管理和权限管理。
与PAI的AI能力和工具链无缝串联:
使用Model Gallery中的基模或微调的模型。
使用Designer进行离线知识库的构建和更新。
基于PAI-DSW运行时,提供更好的代码体验。
使用PAI-DLC进行批量运行和评测。
使用PAI-EAS进行应用部署和服务管控。
适用场景
企业级RAG应用
结合训练好的LLM大模型与企业私有业务领域数据的知识库,提升大模型的问答能力和专业性:
动态知识更新:定期或实时更新企业私有数据,确保大模型能够利用最新的数据进行问答,提升答案的时效性和准确性。
安全与隐私保障:确保企业数据在模型训练和推理过程中的安全性,严格遵循数据隐私法规和内部审计要求。
NL2SQL智能BI助手
通过自然语言到SQL的转换,将您的相关业务需求转化为具体的数据查询,增强数据分析能力:
智能查询生成:您可通过自然语言描述需求,系统将自动生成SQL查询,降低技术门槛。
自动化报表生成:根据查询结果,自动生成可视化报表,便于决策层快速了解业务情况。
数据洞察与建议:基于历史数据分析,提供智能洞察和操作建议,帮助您发现潜在的业务机会。
多模态Chat Agent
结合文本、语音、图像等多种输入形式,提供更为丰富和智能化的交互体验。
地域限制
目前大模型应用开发(LangStudio)仅支持在华东1(杭州)地域使用。
计费说明
在使用LangStudio开发大模型应用时,您使用的对象存储OSS、可观测链路OpenTelemetry版、日志服务SLS和PAI-EAS等产品会产生相关费用。计费详情,请参见大模型应用开发(LangStudio)计费说明。
使用流程
您可以参见RAG应用流的开发与部署,基于检索增强生成LLM应用场景,带您快速体验端到端流程。
服务开通并授权LangStudio:首次使用大模型应用开发LangStudio需要进行服务角色授权与开通,详情请参见云产品依赖与授权:LangStudio。
连接配置:用于存储访问LangStudio外部服务(如模型服务、数据库及其他工具)的信息,配置后可在不同的应用流中重复使用,以简化集成流程,详情请参见连接管理。
创建应用流:LangStudio为应用流开发提供了直观且高效的集成开发环境,您可以构建由大语言模型、Python节点以及其他工具组成的业务流,支持从模板创建或根据类型创建的方式,详情请参见应用流开发。
应用流开发调试/性能调优:通过在线调试或链路追踪的方法,对应用流进行开发调试和性能调优。
部署应用流:可以将调试好的应用流一键部署至PAI-EAS,作为生产环境使用,详情请参见应用流部署。