基于函数计算快速部署开源大模型

部署准备

10

准备账号

1. 如果您还没有阿里云账号，请访问阿里云账号注册页面，根据页面提示完成注册。阿里云账号是您使用云资源的付费实体，因此是部署方案的必要前提。

2. 已开通函数计算服务。具体操作，请参见开通函数计算服务。

3. 已开通文件存储 NAS 服务。具体操作，请参见欢迎使用 NAS 文件系统。

4. 已注册 ModelScope 账号，并绑定阿里云账号。具体操作，请参见 ModelScope 官网。

   

5. 为了节省成本，建议您根据情况领取新客户试用套餐，函数计算使用额度详情请参见试用额度。

部署应用

10

借助于函数计算应用模板，您可以便捷地将魔搭社区的开源大模型部署到函数计算上。

1. 访问函数计算应用模板，参考图片模型来源选择 ModelScope ；模型 ID 填入ZhipuAI/chatglm3-6b；模型版本填入v1.0.2；地域目前仅支持华东1（杭州）或华东2（上海），选择华东2（上海）；模型任务类型填入chat；Access Token 填入ModelScope 的访问令牌。在modelscope访问令牌页面获取。其余配置项保持默认值即可，单击创建应用。模型下载可能会花费 15 分钟左右，请耐心等待部署完成。

   1. 针对当前应用，角色权限可能会不足，此时需要单击前往授权为角色授予所需权限。

      

   2. ModelScope 的访问令牌。在 modelscope 访问令牌页面获取。

      

   3. 更多开源 LLM ，您可以到 ModelScope 官网查询对应的模型 ID 。

   

2. 创建成功后，为应用开启闲置预留模式。配置预留实例，您可以有效避免因实例冷启动导致的请求延迟问题。同时，您可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩，提高实例使用率，解决资源浪费问题。

   1. 应用部署完成后，在资源信息区域单击后缀为model-app-func的函数名称跳转至函数详情页。

      

   2. 在函数详情页，选择配置页签，在左侧导航栏，选择预留实例，然后单击创建预留实例数策略。

      

   3. 在创建预留实例数策略页面，版本和别名选择为 LATEST ，预留实例数设置为 1 ，启用闲置模式，然后单击确定。

      

   4. 等待容器实例成功启动后，可以看到当前预留实例数为 1 ，且显示已开启闲置模式字样，表示闲置预留实例已成功启动。

      

3. （可选）如果您不配置存储，应用会在相同地域下匹配名称是 Alibaba-Fc-V3-Component-Generated 的 NAS ：如果有就挂载；如果没有则会新建一个 NAS ，挂载到后缀为 model-cache 、model-download-func 和 model-app-func 的函数。如果您想绑定其他已有的 NAS 文件系统，可在网络和存储进行配置，更多详情请参见配置 NAS 文件系统。

   

使用 LLM 应用

5

部署完成后，您可以使用函数计算应用提供的域名访问服务，与模型进行对话。

1. 在环境详情页面，点击访问域名右侧的域名，使用 LLM 应用。

   重要

   请注意保护域名的安全，不要泄露给其他人，以防产生额外费用。

   ***.devsapp.net 域名是 CNCF SandBox 项目 Serverless Devs 社区所提供，仅供学习和测试使用，不可用于任何生产使用；社区会对该域名进行不定期的拨测，并在域名下发 30 天后进行回收，强烈建议您绑定自定义域名以获得更好的使用体验，详细请见配置自定义域名。

   

2. 输入文本信息，然后单击 Submit ，您可以看到模型的回答结果。第一次调用因为函数冷启动会花费比较长的时间大概 90s ，后续回答速度会快很多。

   说明

   函数计算平台会在您调用结束后，自动将 GPU 实例置为闲置模式，无需您手动操作，并且会在下次调用到来时，将该实例唤醒，置为活跃模式进行服务。

   冷启动指的是当一个函数被首次调用或者在一段时间没有被调用后再次调用时，系统需要为这个函数实例分配资源并进行初始化的过程。

   

完成及清理

5