一键部署

30

https://www.aliyun.com/solution/tech-solution/fc-for-ai-server

方案概览

只需 10 分钟,您就能将开源大模型轻松部署到阿里云函数计算上,畅享大模型的强大功能。无需拥有或维护昂贵的 GPU 资源,按需付费的模式更能帮助您节省成本,尽情体验云计算带来的便利与灵活性。

image

本方案的技术架构包括以下基础设施和云服务:

  • 函数计算:用于提供基于大模型的应用服务。

  • 文件存储 NAS:用于存放 ModelScope 模型。

  • 专有网络 VPC:用于配置专有网络,方便函数计算访问文件存储 NAS

部署准备

准备账号

  1. 如果您还没有阿里云账号,请访问阿里云账号注册页面,根据页面提示完成注册。阿里云账号是您使用云资源的付费实体,因此是部署方案的必要前提。

  2. 为了节省成本,建议您根据情况领取新客户试用套餐,函数计算使用额度详情请参见试用额度

资源开通

  1. 如果是首次使用函数计算,请先开通函数计算服务

    1. 登录函数计算服务控制台,根据页面提示完成开通。

    2. 开通后,登录函数计算服务控制台,完成阿里云服务授权。

  2. 开通文件存储 NAS 服务,具体操作,请参见欢迎使用 NAS 文件系统

  3. 注册 ModelScope 账号,并绑定阿里云账号,具体操作,请参见 ModelScope 官网

部署应用

10

借助于函数计算应用模板,您可以便捷地将魔搭社区的开源大模型部署到函数计算上。

  1. 访问函数计算应用模板,参考下方表格示例,编辑完成后单击创建应用。模型下载可能会花费 15 分钟左右,请耐心等待部署完成。

    项目

    示例值

    模型来源

    ModelScope

    模型 ID

    ZhipuAI/chatglm3-6b

    模型版本

    v1.0.2

    地域

    华东2(上海)

    模型任务类型

    chat

    Access Token

    ModelScope 的访问令牌

    其余项目

    保持默认

    说明
    • 针对当前应用,角色权限可能会不足,此时需要单击前往授权为角色授予所需权限。d3a81be09af5f9e3d29e7c3b7bca3fef

    • ModelScope 的访问令牌。在 ModelScope 访问令牌页面获取。

      image

    • 更多开源 LLM ,您可以到 ModelScope 官网查询对应的模型 ID 。

  2. 创建成功后,为应用开启闲置预留模式。配置预留实例,您可以有效避免因实例冷启动导致的请求延迟问题。同时,您可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩,提高实例使用率,解决资源浪费问题。

    1. 应用部署完成后,在资源信息区域单击后缀为model-app-func的函数名称跳转至函数详情页。

      image

    2. 函数详情页,选择配置页签,在左侧导航栏,选择预留实例,然后单击创建预留实例数策略

      image

    3. 创建预留实例数策略页面,版本和别名选择为 LATEST 预留实例数设置为 1 ,启用闲置模式,然后单击确定

      image

    4. 等待容器实例成功启动后,可以看到当前预留实例数为 1 ,且显示已开启闲置模式字样,表示闲置预留实例已成功启动。

      image

  3. (可选)如果您不配置存储,应用会在相同地域下匹配名称是 Alibaba-Fc-V3-Component-Generated 的 NAS :如果有就挂载;如果没有则会新建一个 NAS ,挂载到后缀为 model-cachemodel-download-func model-app-func 的函数。如果您想绑定其他已有的 NAS 文件系统,可在网络和存储进行配置,更多详情请参见配置 NAS 文件系统

    image

使用 LLM 应用

5

部署完成后,您可以使用函数计算应用提供的域名访问服务,与模型进行对话。

  1. 环境详情页面,点击访问域名右侧的域名,使用 LLM 应用。

      重要

      请注意保护域名的安全,不要泄露给其他人,以防产生额外费用。

  2. 输入文本信息,然后单击 Submit ,您可以看到模型的回答结果。第一次调用因为函数冷启动会花费比较长的时间大概 90s ,后续回答速度会快很多。

    说明

    函数计算平台会在您调用结束后,自动将 GPU 实例置为闲置模式,无需您手动操作,并且会在下次调用到来时,将该实例唤醒,置为活跃模式进行服务。

    冷启动指的是当一个函数被首次调用或者在一段时间没有被调用后再次调用时,系统需要为这个函数实例分配资源并进行初始化的过程。

    image

配置域名(可选)

说明

如果您仅希望体验方案,无需配置域名,可以跳过此步骤。

如果您希望将该方案部署到生产环境。需要完成以下操作:

  • 需要使用独立域名,且域名必须经过 ICP 备案。

  • 域名按照要求添加解析记录。

域名申请和备案

  1. 创建域名信息模板并实名认证。如果您已经拥有域名,可跳过此步骤。如果您使用当前部署的服务器去申请域名备案,因备案要求,需要将云服务ECS实例从按量计费转为包年包月,具体请参考按量付费转包年包月

    1. 登录阿里云域名控制台

    2. 在左侧导航栏单击信息模板,在信息模板页面单击创建新信息模板

      1

    3. 根据界面提示,完成域名持有者信息填写,单击提交

      展开查看填写说明。

      参数

      个人

      企业/组织

      域名持有者类型

      选择个人

      选择企业/组织

      信息填写方式

      选择是否自动关联您的阿里云账号信息。

      说明

      如果您使用子账号登录域名控制台,则页面中没有此参数,您需手动填写域名持有者信息。

      域名联系人(中文)

      填写域名联系人名称,通常是公司的技术人员作为域名联系人。

      所属区域

      选择真实有效的通讯地址。

      选择与营业执照上一致的区域。

      说明

      如果无法选择省市信息,建议您更换浏览器或更换网络环境。

      通讯地址(中文)

      填写真实有效的通讯地址。

      填写与营业执照上一致的通讯地址。

      邮编

      填写通讯地址所在地的邮政编码。

      填写企业所在地的邮政编码。

      电子邮箱

      填写域名联系人的电子邮箱,填写完成后请单击输入框下方的点击进行邮箱验证,进行验证。

      说明
      • 建议不要使用test@test.club等新顶级域名后缀邮箱,避免域名订单长时间处于处理中状态,错失域名抢注等机会。

      实名认证上传材料填写样例请参见如下:

    4. 阿里云域名控制台的左侧导航栏的信息模板中找到待查看的信息模板,查看实名认证状态

      说明

      域名实名认证资料的审核通常在1个工作日内可以完成,部分可能需要3~5个工作日,请您耐心等待审核结果。

  2. 购买域名

    1. 查询域名。

      1. 登录阿里云域名注册

      2. 在阿里云域名注册页面的搜索框中,搜索您想要注册的域名以及域名后缀,单击查询域名

        1

    2. 加入域名清单。

      1. 对于查询结果为未注册的域名,单击加入清单

        加入清单

      2. 域名清单中确认已添加的域名,单击立即购买

    3. 确认订单信息。

      1. 确认订单页面,选择域名的购买年限和域名所有者类型。

        确认订单

        说明

        若您注册的是“.gov.cn”后缀域名,域名持有者类型只能为企业

      2. 选择已完成实名认证的域名持有者信息模板。

    4. 选择支付方式后,单击立即支付

      完成支付后,域名注册订单会短暂的显示为处理中状态,待订单状态变为成功,域名即注册成功。

  3. ICP备案前准备

    1. (可选)前置审批。

      新闻类、出版类、药品和医疗器械类、文化类、广播电影电视节目类、教育类、医疗保健类、网络预约车、电子公告类等行业的互联网信息服务,需联系当地机关办理对应的前置审批手续。各类行业对应的办理机关及手续类型请参见前置审批

    2. 管局规则。

      了解ICP备案所在地域的管局规则,根据管局要求准备ICP备案的材料。详细信息请在各地区管局备案规则中单击对应省份查看。

  4. 提交ICP备案

    1. 填写信息进行校验。

      阿里云ICP代备案管理系统,根据界面提示,按要求填写主办单位信息和网站/App信息等,系统将根据您所填信息,自动校验是否可以进行ICP备案。

    2. 阿里云初审。

      提交ICP备案初审订单后,订单状态为阿里云审核中,阿里云将会在1个工作日左右进行审核,具体以实际审核时间为准。

      image

    3. (可选)邮寄资料。

      说明

      阿里云初审后如果需要您邮寄资料,审核人员会通知您。如果您在初审时未收到需要邮寄资料的相关通知,则无需邮寄资料,ICP备案流程将进入下一个阶段。

    4. 工信部短信核验。

      当需要验证的手机号收到工信部发出的验证码短信后,您需在收到核验短信的24小时内,访问工信部备案管理系统进行短信核验。

      说明

      建议通过手机移动数据(关闭WiFi连接)进行短信核验。

      1. 进入工信部备案管理系统,单击短信核验

      2. 填写短信核验信息。

        短信核验页签下,根据下方要求填写短信验证码、手机号码、证件号码后6位等信息,填写完成后单击提交,系统将进行自动审核。

        短信核验项

      3. 确认短信核验结果。

        • 如系统提示您的短信核验已全部完成,该请求将提交管局审核,说明您的ICP备案订单已完成短信核验操作。

          说明

          短信核验成功后,您的ICP备案订单将直接进入管局审核,工信部不会下发短信通知。短信核验结果会在24小时内同步至阿里云,您可前往阿里云ICP代备案管理系统我的备案中查看。

          核验完成

        • 如系统提示您的短信核验完成,请等待其他核验人进行短信核验,说明您的ICP备案订单中还有其他需要验证的手机号码,请联系其他负责人及时完成核验。

          还有一个人没有核验

    5. 管局审核。

      订提交管局后订单为待提交管局状态,阿里云审核专员将会在1个工作日左右将您的订单提交至管局审核,具体以实际提交时间为准

      各省管局审核时间不同,实际审核时长会根据ICP备案场景有所不同,一般为1~20个工作日,具体以实际审核时间为准。管局审核通过后表示您的ICP备案即已完成,审核结果会发送至您的手机和邮箱。

  5. ICP备案后操作

    1. 添加ICP备案号及版本所有 。

      ICP备案成功后,您需要在互联网信息服务底部添加备案号和跳转至工信部的链接,以便访问者查询确认ICP备案信息。部分省份管局要求,例如江苏省,需要在互联网信息服务下方添加版权所有。详情请参见添加ICP备案号和版权处理

    2. (可选)ICP许可证。

      如果您的互联网信息服务属于经营性网站或App(通过互联网向上网用户有偿提供信息或者网页制作等服务活动),则需在ICP备案后申请经营性ICP许可证。详情请参见经营性备案

      说明

      弹性Web托管服务器不支持经营性备案。

    3. 公安联网备案。

      依据 《计算机信息网络国际联网安全保护管理办法》相关规定,各互联网信息服务在工信部备案成功后,需在开通之日起30日内登录全国互联网安全管理服务平台提交公安联网备案申请。详情请参见公安联网备案及注销

域名解析

申请域名后,需要配置域名解析到函数计算 CNAME,实现通过域名访问网站。

  1. 登录云解析DNS控制台

  2. 在左侧菜单栏点击公网DNS解析>权威域名解析,在权威域名解析页面的域名列表中找到目标域名,在右侧操作列中点击解析设置

  3. 在域名解析设置页签中点击添加记录,参考以下配置添加域名解析记录,将其解析到函数计算的CNAME地址。

    配置项

    说明

    示例值

    记录类型

    选择域名指向的类型。此处选择CNAME

    CNAME

    主机记录

    根据域名前缀填写主机记录。以前面步骤申请的域名aliyunexample.com为例,您可以在输入框中填写www,代表对www.aliyunexample.com进行域名解析,您也可以在输入框中填写test,代表对test.aliyunexample.com二级域名进行域名解析。

    www

    记录值

    前往函数计算域名管理页面,单击添加自定义域名,在添加自定义域名页面,复制公网 CNAME。

    说明

    请将顶部导航栏中的地域切换为函数应用部署的地域,本方案以杭州为例。

    公网 CNAME 值

    TTL

    域名的更新周期,保留默认值。

    10分钟

配置域名

前往函数计算域名管理页面,单击添加自定义域名,在添加自定义域名页面,按照以下步骤进行配置。

  1. 在基本设置区块中,填写域名值为上一步解析的域名,例如:www.aliyunexample.com

  2. 在路由设置区块,进行如下配置。

    1. 我想手动输入函数名、版本或别名:取消前面的勾选框选项。

    2. 函数名称:下拉选择之前部署的函数

    3. 版本或别名:下拉选择LATEST

    4. 其他值默认。

  3. 点击创建

  4. 在域名管理页面的域名列表中,点击刚刚配置的域名以进行访问。

完成及清理

5

  1. 删除FC应用:

    登录函数计算控制台,在左侧导航栏,选择应用,在应用页面,找到目标应用,在其右侧操作列,单击删除应用,根据页面提示删除应用。

  2. 删除文件存储NAS:

    登录NAS控制台文件系统列表页面,找到目标文件系统,然后在操作列选择216更多-竖向..png> 删除,按照界面提示移除挂载点并删除。