SAE极速部署个人LLM效能工具

场景简介

本实验带领您体验SAE快速部署LLM（大语言模型）效能工具，实现与AI助手对话，并且可以灵活选取通义千问、ChatGPT等大语言模型。

实现效果

使用SAE部署应用有哪些优势？

Serverless应用引擎（SAE）是一款极简易用的应用全托管平台，仅需上传源码或镜像即可在数秒内部署任何语言的在线应用。

• 降低运维门槛：您无需关注底层基础设施，如服务器环境配置、Kubernetes运维等。SAE提供极简的应用部署体验，以及开箱即用的运维功能，包括日志、监控、负载均衡、版本控制、CI/CD等。

• 自动弹性伸缩：SAE能够根据实际的流量状况自动调整资源的使用，确保在流量高峰时能够迅速响应，也避免在流量低谷时造成资源浪费。

• 按需付费：您仅需要为实际使用的资源付费，可以节省固定成本，降低业务风险，尤其适合初创公司。

前提条件

本实验支持领取免费试用资源、使用个人账号资源两种体验方式。

领取免费试用资源

在右侧的操作区中，单击立即试用，然后跟随指引操作，即可领取免费试用资源。您也可以前往免费试用SAE进行领取。

如果页面没有立即试用按钮，说明您的阿里云账号不满足试用条件，可能由于您已领取过免费试用资源，请前往我的试用确认相关资源的试用状态、试用结束时间、以及是否超出试用额度。

使用个人账号资源

进入实操前，请确保阿里云账号满足以下条件：

• 已通过实名认证并且账户余额充足。

• 云资源产生的费用需您自行承担，云起实验室不会向您征收额外费用。

• 所有实验操作将保留至您的账号，请谨慎操作。

• 实操结束后，您可以选择继续付费保留资源，或参考手册自动/手动释放资源。

进入实操

1. 在右侧的操作区中，单击进入实操。

   

2. 请您前往SAE控制台。如页面提示需要开通服务，或需要创建服务关联角色，请跟随指引操作。

创建弹性公网IP

本实验需要在部署应用前创建弹性公网IP，为应用提供访问公网资源的出口。

1. 前往弹性公网IP控制台。选择应用部署的地域，本文以华东1（杭州）为例。单击创建弹性公网IP。购买数量填写2，其余配置项保持默认。然后单击立即购买，并跟随指引操作。

   

   

2. 在弹性公网IP控制台，可以查看已创建的弹性公网IP。

   

将应用部署到SAE并通过公网访问

SAE提供了直接从镜像仓库部署应用上线的能力。

1. 进入SAE控制台，在应用管理 > 微服务应用页面，选择应用部署的地域，本文以华东1（杭州）为例。单击创建应用。

   

2. 在创建应用页面，配置相关信息。

   1. 在基础信息设置区域，配置如下参数。

      配置项	教程示例	说明
      应用名称	demo-llm	可自定义
      命名空间类型	系统创建
      应用部署方式	选择镜像部署，单击设置镜像。	本实验中您无需关注镜像的制作方法，后续步骤将使用官方的示例镜像进行部署。 生产环境中，您也可以将实际的应用镜像上传到个人或企业的私有镜像仓库中，再将镜像部署到SAE。

      

   2. 在设置镜像面板，技术栈语言选择其它语言，在Demo镜像标签页，选择镜像版本为lobe-chat-v1.0，然后单击确定。

      

   3. 在容量设置区域，实例数设置为2。

      实例数需要与已创建的弹性公网IP数量一致，本例中均为2。

      

   4. 单击下一步：高级设置，在应用出/入公网访问设置区域，打开方案2. 绑定弹性公网IP的开关。

      

   5. 单击创建应用。请您耐心等待应用创建完成，大约需要1分钟。

3. 在基本信息页面的应用访问设置区域，单击添加公网CLB访问。根据下表配置相关参数，然后单击确认。

   如果页面中没有出现添加公网CLB访问按钮，说明应用未创建完成，请您耐心等待应用创建完成。

   分类	配置项	教程示例
   HTTP协议	HTTP端口	80
   	容器端口	3210

   

   

4. 请等待公网访问地址创建完成，查看公网访问地址的内容。在浏览器的地址栏输入公网访问地址，并按回车键，即可打开应用首页。

   如果页面中没有出现公网访问地址的内容，说明还未创建完成，请您耐心等待。

   

   

配置个人LLM效能工具

1. 在应用首页，单击Start Now或立即开始。如果应用的语言为英文，请参考下图操作将语言改为中文。

   

2. 此应用支持灵活选取主流的大语言模型，本教程以通义千问系列为例，配置方法如下图所示。

   1. 前往阿里云百炼控制台，如果页面顶部显示以下消息，您需要开通阿里云百炼的模型服务，以获得免费额度。如果未显示该消息，则表示您已经开通，请跳过此步骤。

      

   2. 前往API-KEY页面，单击创建我的API-KEY。

      

   3. 在创建新的API-KEY对话框中，归属业务空间选择主账号空间，单击确定。

      

   4. 在我的API-KEY页面，单击目标API-KEY右侧操作列下的查看，您即可看到API-KEY的明文信息，在后续步骤需要使用到API-KEY。

      说明

      API-KEY请注意保存，不要存放在公开环境中。

      

   5. 返回应用首页，在设置中向下滑动模型列表，找到通义千问系列模型（Qwen），打开开关，并将API-KEY粘贴到此处。您可以单击检查按钮，验证应用可以访问通义千问的API。

      

使用LLM效能工具与大模型对话

1. 返回应用首页，在页面顶部，选择任意一个通义千问（Qwen）系列模型，例如Qwen Long。

   

2. 在页面下方，输入聊天内容，单击发送，即可开始与大模型对话。

   

清理资源

删除应用

进入SAE控制台的应用管理 > 微服务应用页面，在右上角切换到资源所在地域，本实验以华东1（杭州）为例。在应用列表中单击已创建的应用，进入应用详情页。单击更多，删除应用，然后跟随指引操作。

删除弹性公网IP

前往弹性公网IP控制台，在弹性公网IP页面，选中已创建的弹性公网IP，单击释放，然后按照指引操作。

删除API-KEY

进入阿里云百炼控制台，参考下图删除API-KEY。

结束实操

单击结束实操。在弹出的对话框中，单击确定。