一键部署
30
https://www.aliyun.com/solution/tech-solution/fc-for-ai-server
方案概览
只需 10 分钟,您就能将开源大模型轻松部署到阿里云函数计算上,畅享大模型的强大功能。无需拥有或维护昂贵的 GPU 资源,按需付费的模式更能帮助您节省成本,尽情体验云计算带来的便利与灵活性。
本方案的技术架构包括以下基础设施和云服务:
函数计算:用于提供基于大模型的应用服务。
文件存储 NAS:用于存放 ModelScope 模型。
专有网络 VPC:用于配置专有网络,方便函数计算访问文件存储 NAS。
部署准备
准备账号
如果您还没有阿里云账号,请访问阿里云账号注册页面,根据页面提示完成注册。阿里云账号是您使用云资源的付费实体,因此是部署方案的必要前提。
资源开通
如果是首次使用函数计算,请先开通函数计算服务。
开通文件存储 NAS 服务,具体操作,请参见欢迎使用 NAS 文件系统。
注册 ModelScope 账号,并绑定阿里云账号,具体操作,请参见 ModelScope 官网。
部署应用
10
借助于函数计算应用模板,您可以便捷地将魔搭社区的开源大模型部署到函数计算上。
访问函数计算应用模板,参考下方表格示例,编辑完成后单击创建应用。模型下载可能会花费 15 分钟左右,请耐心等待部署完成。
项目
示例值
模型来源
ModelScope
模型 ID
ZhipuAI/chatglm3-6b
模型版本
v1.0.2
地域
华东2(上海)
模型任务类型
chat
Access Token
ModelScope 的访问令牌
其余项目
保持默认
说明针对当前应用,角色权限可能会不足,此时需要单击前往授权为角色授予所需权限。

ModelScope 的访问令牌。在 ModelScope 访问令牌页面获取。

更多开源 LLM ,您可以到 ModelScope 官网查询对应的模型 ID 。
创建成功后,为应用开启闲置预留模式。配置预留实例,您可以有效避免因实例冷启动导致的请求延迟问题。同时,您可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩,提高实例使用率,解决资源浪费问题。
应用部署完成后,在资源信息区域单击后缀为model-app-func的函数名称跳转至函数详情页。

在函数详情页,选择配置页签,在左侧导航栏,选择预留实例,然后单击创建预留实例数策略。

在创建预留实例数策略页面,版本和别名选择为 LATEST ,预留实例数设置为 1 ,启用闲置模式,然后单击确定。

等待容器实例成功启动后,可以看到当前预留实例数为 1 ,且显示已开启闲置模式字样,表示闲置预留实例已成功启动。

(可选)如果您不配置存储,应用会在相同地域下匹配名称是 Alibaba-Fc-V3-Component-Generated 的 NAS :如果有就挂载;如果没有则会新建一个 NAS ,挂载到后缀为 model-cache 、model-download-func 和 model-app-func 的函数。如果您想绑定其他已有的 NAS 文件系统,可在网络和存储进行配置,更多详情请参见配置 NAS 文件系统。

使用 LLM 应用
5
部署完成后,您可以使用函数计算应用提供的域名访问服务,与模型进行对话。
在环境详情页面,点击访问域名右侧的域名,使用 LLM 应用。
重要请注意保护域名的安全,不要泄露给其他人,以防产生额外费用。
输入文本信息,然后单击 Submit ,您可以看到模型的回答结果。第一次调用因为函数冷启动会花费比较长的时间大概 90s ,后续回答速度会快很多。
说明函数计算平台会在您调用结束后,自动将 GPU 实例置为闲置模式,无需您手动操作,并且会在下次调用到来时,将该实例唤醒,置为活跃模式进行服务。
冷启动指的是当一个函数被首次调用或者在一段时间没有被调用后再次调用时,系统需要为这个函数实例分配资源并进行初始化的过程。

配置域名(可选)
如果您仅希望体验方案,无需配置域名,可以跳过此步骤。
如果您希望将该方案部署到生产环境。需要完成以下操作:
需要使用独立域名,且域名必须经过 ICP 备案。
域名按照要求添加解析记录。
域名申请和备案
创建域名信息模板并实名认证。如果您已经拥有域名,可跳过此步骤。如果您使用当前部署的服务器去申请域名备案,因备案要求,需要将云服务ECS实例从按量计费转为包年包月,具体请参考按量付费转包年包月。
购买域名
查询域名。
登录阿里云域名注册。
在阿里云域名注册页面的搜索框中,搜索您想要注册的域名以及域名后缀,单击查询域名。

加入域名清单。
对于查询结果为未注册的域名,单击加入清单。

在域名清单中确认已添加的域名,单击立即购买。
确认订单信息。
在确认订单页面,选择域名的购买年限和域名所有者类型。
说明若您注册的是“.gov.cn”后缀域名,域名持有者类型只能为企业。
选择已完成实名认证的域名持有者信息模板。
选择支付方式后,单击立即支付。
ICP备案前准备
提交ICP备案
填写信息进行校验。
在阿里云ICP代备案管理系统,根据界面提示,按要求填写主办单位信息和网站/App信息等,系统将根据您所填信息,自动校验是否可以进行ICP备案。
阿里云初审。
提交ICP备案初审订单后,订单状态为阿里云审核中,阿里云将会在1个工作日左右进行审核,具体以实际审核时间为准。

(可选)邮寄资料。
说明阿里云初审后如果需要您邮寄资料,审核人员会通知您。如果您在初审时未收到需要邮寄资料的相关通知,则无需邮寄资料,ICP备案流程将进入下一个阶段。
工信部短信核验。
管局审核。
订提交管局后订单为待提交管局状态,阿里云审核专员将会在1个工作日左右将您的订单提交至管局审核,具体以实际提交时间为准
各省管局审核时间不同,实际审核时长会根据ICP备案场景有所不同,一般为1~20个工作日,具体以实际审核时间为准。管局审核通过后表示您的ICP备案即已完成,审核结果会发送至您的手机和邮箱。
ICP备案后操作
添加ICP备案号及版本所有 。
ICP备案成功后,您需要在互联网信息服务底部添加备案号和跳转至工信部的链接,以便访问者查询确认ICP备案信息。部分省份管局要求,例如江苏省,需要在互联网信息服务下方添加版权所有。详情请参见添加ICP备案号和版权处理。
(可选)ICP许可证。
如果您的互联网信息服务属于经营性网站或App(通过互联网向上网用户有偿提供信息或者网页制作等服务活动),则需在ICP备案后申请经营性ICP许可证。详情请参见经营性备案。
说明弹性Web托管服务器不支持经营性备案。
公安联网备案。
依据 《计算机信息网络国际联网安全保护管理办法》相关规定,各互联网信息服务在工信部备案成功后,需在开通之日起30日内登录全国互联网安全管理服务平台提交公安联网备案申请。详情请参见公安联网备案及注销。
域名解析
申请域名后,需要配置域名解析到函数计算 CNAME,实现通过域名访问网站。
登录云解析DNS控制台。
在左侧菜单栏点击公网DNS解析>权威域名解析,在权威域名解析页面的域名列表中找到目标域名,在右侧操作列中点击解析设置。
在域名解析设置页签中点击添加记录,参考以下配置添加域名解析记录,将其解析到函数计算的
CNAME地址。配置项
说明
示例值
记录类型
选择域名指向的类型。此处选择
CNAME。CNAME主机记录
根据域名前缀填写主机记录。以前面步骤申请的域名
aliyunexample.com为例,您可以在输入框中填写www,代表对www.aliyunexample.com进行域名解析,您也可以在输入框中填写test,代表对test.aliyunexample.com二级域名进行域名解析。www记录值
前往函数计算域名管理页面,单击添加自定义域名,在添加自定义域名页面,复制公网 CNAME。
说明请将顶部导航栏中的地域切换为函数应用部署的地域,本方案以杭州为例。
公网 CNAME 值
TTL
域名的更新周期,保留默认值。
10分钟
配置域名
前往函数计算域名管理页面,单击添加自定义域名,在添加自定义域名页面,按照以下步骤进行配置。
在基本设置区块中,填写域名值为上一步解析的域名,例如:
www.aliyunexample.com。在路由设置区块,进行如下配置。
我想手动输入函数名、版本或别名:取消前面的勾选框选项。
函数名称:下拉选择之前部署的函数。
版本或别名:下拉选择LATEST。
其他值默认。
点击创建。
在域名管理页面的域名列表中,点击刚刚配置的域名以进行访问。
完成及清理
5



