本文介绍如何使用函数计算一键部署ChatYuan对话模型实现智能问答。
背景信息
AIGC（Artificial Intelligence Generated Content）是指人工智能生成内容。“文生文”技术是指使用AI进行知识问答。
ChatYuan即元语功能型对话大模型，可以用于问答、结合上下文做对话、做各种生成任务（例如创意性写作），也能回答一些法律、医疗等领域问题。ChatYuan基于PromptCLUE-large在1000亿Token中文语料上预训练，累计学习1.5万亿中文Token。
本文为您介绍如何基于函数计算部署ChatYuan对话模型实现智能问答。
阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。
您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。
前提条件
已开通函数计算服务，详情请参见开通函数计算服务。
操作步骤
部署并使用ChatYuan对话模型将产生部分费用，包括GPU资源使用、vCPU资源使用、内存资源使用、磁盘资源使用和公网出流量以及函数调用的费用。具体信息，请参见计费概述。
创建应用
登录函数计算控制台，在左侧导航栏，单击应用。
如果您首次使用函数计算的应用中心，或您的账号下没有创建任何应用，在左侧导航栏，单击应用后，将自动进入创建应用页面。
如果您之前使用过应用中心，在左侧导航栏，单击应用，然后在应用页面单击创建应用。
-
在创建应用页面，选择通过模板创建应用，然后在应用列表中搜索并选择文生文-ChatYuan模型模板，光标移至该卡片，然后单击立即创建。
-
在创建应用页面，设置以下配置项，然后单击创建并部署默认环境。
主要配置项说明如下，其余配置项保持默认值即可。
配置项
说明
示例值
部署类型
选择部署应用的方式。
直接部署
角色名称
首次登录用户，需要单击前往授权配置角色权限。
应用中心推荐创建并使用系统默认角色
AliyunFCServerlessDevsRole。如果您的角色名称已有相关权限，则无需设置。
AliyunFCServerlessDevsRole
地域
选择部署应用的地域。
重要如果部署异常，例如AIGC公共镜像拉取耗时长，拉取失败，请切换到其他地域重试。
华北2（北京）
fc-chatyuan 镜像地址
输入ChatYuan镜像地址。镜像地址需要与应用所在的地域保持一致。
为了方便您使用，函数计算提供以下基于开源项目构建的镜像，您可以直接使用。
-
上海地域镜像：registry.cn-shanghai.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
-
北京地域镜像：registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
-
深圳地域镜像：registry.cn-shenzhen.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
-
杭州地域镜像：registry.cn-hangzhou.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
您还可以自定义镜像。具体操作，请参见项目代码目录内的README文档。
registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-chatyuan:v2
大约等待1~2分钟后，部署状态显示部署成功，表示当前版本部署完成。
-
-
检查GPU函数
model的镜像加速准备状态。函数计算提供镜像加速功能，可以对AI/GPU大镜像进行启动优化，仅当镜像加速准备状态为可用时，才可以开始进行函数调用。
-
在应用详情页面，单击环境名称，本示例以默认环境为例。
确认部署状态显示为部署成功。
-
选择环境详情页签，在资源信息区域，单击函数
model。 -
在
model函数详情页面的函数配置页签，在环境信息区域，观察镜像加速准备状态，等待状态变更为可用。
-
-
返回至已创建应用的应用详情页面，找到目标环境，光标移至其右侧操作列的访问域名，单击访问第一个域名。
页面右侧显示两个访问地址，分别为 web 端点和 model 端点，部署状态显示为部署成功。
由于当前模型较大，完全加载大概需要5~8分钟。加载过程如下图所示。
加载完成后，即表示您已成功搭建元语功能型对话大模型。
使用元语功能对话
输入您要交谈的内容，单击发送，然后等待模型回复。为了更好的对话效果，请为每一句交谈内容添加合适的标点符号。
例如，用户输入"地球分为几大洲？"，模型即返回各大洲的相关信息。输入框右侧可通过上下文记忆长度参数设置多轮对话的记忆轮数。
删除资源
如您暂时不需要使用此应用，请及时删除对应资源。如您需要长期使用此应用，请忽略此步骤。
-
返回函数计算控制台概览页面，在左侧导航栏，单击应用。
-
单击目标应用右侧操作列的删除，在弹出的删除应用对话框，勾选我已确定资源删除的风险，依旧要删除上面已选择的资源，然后单击删除应用及所选资源。
删除应用对话框中会列出当前应用关联的所有资源及其资源类型、所在地区等信息，顶部黄色警告提示若某些资源已被其他应用复用，请谨慎删除。
费用说明
套餐领取
为了方便您体验本文提供的文生成图的场景，首次开通用户可以领取试用套餐并开通函数计算服务。该套餐不支持抵扣公网出流量和磁盘使用量的费用。如果您没有购买相关资源包，公网出流量和超出512 MB的磁盘使用量将按量付费。
公网出流量和磁盘使用量评估
当前应用磁盘使用量为512 MB，不需要支付费用。在加载前端页面时，需要约1 MB的公网出流量。每次对话都需要消耗一定的流量，进行21739次对话，大概会消耗2 MB。
公网出流量使用量和磁盘使用量计费可参考以下表格内容。
实际费用与对话内容、调用频率等多种因素有关系，预估费用仅供参考。
|
计费项 |
单价 |
使用量 |
费用 |
|
|
公网出流量 |
前端页面加载 |
0.50元/GB |
1 MB |
0.00049元 |
|
21739次对话 |
2 MB |
0.00098元 |
||
|
磁盘使用量 |
不超出512 MB：免费 |
512 MB |
0元 |
|
资源消耗评估
函数计算配置：GPU 16 GB、CPU 8核、内存32 GB、磁盘 512 MB。通过多次对话测试，给出冷启动和热启动对应的资源消耗平均值。
|
资源 |
冷启动（35.25s） |
热启动（0.575s） |
|
GPU资源消耗 |
|
|
|
CPU资源消耗 |
|
|
|
内存资源消耗 |
|
|
如果您领取了试用套餐，根据上述资源消耗情况，可以评估出套餐能支持多少次对话。
在连续调用的情况下，只有少数的冷启动情况，所以以下评估信息以热启动的资源消耗进行评估。
|
资源 |
套餐额度 |
对话次数 |
|
GPU |
前100万GB*秒GPU资源使用免费 |
|
|
CPU |
前50万vCPU*秒vCPU资源使用免费 |
|
|
内存 |
前200万GB*秒内存资源使用免费 |
|
取上述表格中的最小值，领取的套餐可以支持处理约108695次对话。
除上述的资源外，本文提供的场景还会产生磁盘使用量和公网出流量，这部分的费用评估请参见公网出流量和磁盘使用量评估。