人工智能平台 PAI 部署 Qwen2.5 模型-阿里云帮助中心

手动部署

https://www.aliyun.com/solution/tech-solution/qwen2-5-for-platforms

方案概览

本方案旨在介绍如何将 Qwen2.5 开源模型部署到人工智能平台 PAI。人工智能平台 PAI 为 AI 研发提供了全链路支持，覆盖了从数据标注、模型开发、训练、评估、部署和运维管控的整个AI研发生命周期。其中，Model Gallery 组件提供了一个丰富多样的模型资源库，使用户能够轻松地查找、部署、训练和评估模型，大大简化了开发流程。PAI-EAS 则提供了高性能的模型推理服务，支持多种异构计算资源，并配备了一套完整的运维和监控系统，确保服务的稳定性和高效性。方案以 Qwen2.5 : 7B 为例进行演示，用户可以根据实际需求选择其他参数规模的 Qwen2.5 模型，并相应调整实例规格配置。用户还可以使用 PAI-DSW 和 PAI-DLC 进行模型的微调训练，以便更好地满足特定业务场景的需求，进一步提高模型的性能、准确性和适用性。

方案架构

按照本方案提供的配置完成部署后，会在阿里云上搭建一个如下图所示的运行环境。实际部署时，您可根据具体的资源规划调整部分配置，但最终的运行环境将与下图展示的架构相似。 Qwen 2

本方案的技术架构包括以下云服务：

Model Gallery ：人工智能平台 PAI 的一个组件，集成了众多 AI 领域高质量的预训练模型。
PAI-EAS ：人工智能平台 PAI 的一个组件，针对在线推理场景提供的模型在线服务，采用基于按量付费的 GPU 公共资源组。

准备账号

如果您还没有阿里云账号，请访问阿里云账号注册页面，根据页面提示完成注册。阿里云账号是您使用云资源的付费实体，因此是部署方案的必要前提。
为阿里云账号充值：PAI-EAS 提供了免费试用额度，如果免费试用额度已耗尽，体验本方案预计成本不超过 2 元。可以通过以下地址领取免费试用额度：免费试用。

部署 Qwen2.5 模型

Model Gallery 集成了众多AI开源社区中优质的预训练模型，方便用户快速选择和应用所需模型。在Model Gallery 中选中合适的模型并点击部署，系统将触发 PAI-EAS 的部署流程。PAI-EAS 支持将模型服务部署在公共资源组或专属资源组，实现基于异构硬件（如 CPU 和 GPU ）的模型加载和数据请求的实时响应。

登录PAI 控制台，首次登录需要开通服务，选择暂不绑定 OSS Bucket 至 PAI 默认工作空间，然后点击一键开通按钮。
开通成功后，点击进入控制台按钮。
在工作空间页面的左侧导航栏选择 Model Gallery 。
在搜索框中输入“qwen2.5 - 7b”,搜索结果中将显示“通义千问 2.5 - 7B - Instruct”和“通义千问 2.5 - 7B -预训练”两个模型。“通义千问 2.5 - 7B - Instruct ”是在预训练模型的基础上经过指令跟随微调后得到的版本，能够更好地理解和响应人类的指令。
点击“通义千问 2.5 - 7B - Instruct ”进入模型详情页，然后点击右上角部署按钮。
在部署页面，资源配置选择推荐使用GPU：ml.gu7i.c8m30.1-gu30。
说明
如果当前地域的资源不足，您还可以选择 V100（ecs.gn6e-c12g1.3xlarge）或 A10（ecs.gn7i-c8g1.2xlarge）类型的资源规格
其余配置项保持默认不变，点击左下角部署按钮。弹窗提示计费提醒，点击确定按钮。
部署完成后，点击右上角查看WEB应用按钮。