备案控制台
首页 函数计算（旧版） 实践教程 AIGC实践 基于函数计算部署图像描述模型mPLUG


基于函数计算部署图像描述模型mPLUG


更新时间: 2023-11-20 11:35:51

图像描述模型可以根据图片信息生成一句对应的描述，可以用于给一张图片配上一句文字或者打个标签的场景。本文介绍如何使用函数计算部署图像描述模型mPLUG。

背景信息

AIGC（Artificial Intelligence Generated Content）是指人工智能生成内容。“图生文”技术是指使用AI进行图片理解和分析，并获取图片描述。

mPLUG模型是统一理解和生成的多模态基础模型，该模型提出了基于skip-connections的高效跨模态融合框架。更多信息，请参见mPLUG。

本文介绍的mPLUG模型是指mPLUG图像描述模型-中文-base，参数量约为3.5亿，依照Apache License 2.0发布。

重要

  • 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。

  • 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

前提条件

已开通函数计算服务，详情请参见开通函数计算服务。

操作步骤

部署并使用mPLUG应用框架将产生部分费用，包括vCPU资源使用、内存资源使用、磁盘资源使用和公网出流量以及函数调用的费用。具体信息，请参见计费概述。

创建应用

  1. 登录函数计算控制台，在左侧导航栏，单击应用。

    • 如果您首次使用函数计算的应用中心，或您的账号下没有创建任何应用，在左侧导航栏，单击应用后，将自动进入创建应用页面。

      image..png

    • 如果您之前使用过应用中心，在左侧导航栏，单击应用，然后在应用页面单击创建应用。

      image..png

  2. 在创建应用页面，选择通过模板创建应用，然后在应用列表中搜索并选择图生文-图像描述模板，光标移至该卡片，然后单击立即创建。

    image..png

  3. 在创建应用页面，设置以下配置项，然后单击创建并部署默认环境。

    image..png

    主要配置项说明如下，其余配置项保持默认值即可。

    配置项

    说明

    示例值

    部署类型

    选择部署应用的方式。

    直接部署

    角色名称

    首次登录用户，需要单击前往授权配置角色权限。

    image..png

    如果您的角色名称已有相关权限，则无需设置。

    AliyunFCServerlessDevsRole

    地域

    选择部署应用的地域。

    重要

    如果部署异常，例如AIGC公共镜像拉取耗时长，拉取失败，请切换到其他地域重试。

    华北2（北京）

    fc-mplug-image-captioning 镜像地址

    输入mPLUG镜像地址。镜像地址需要与应用所在的地域保持一致。

    为了方便您使用，函数计算提供以下基于开源项目构建的镜像，您可以直接使用。

    • 上海地域镜像：registry.cn-shanghai.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1

    • 北京地域镜像：registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1

    • 深圳地域镜像：registry.cn-shenzhen.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1

    • 杭州地域镜像：registry.cn-hangzhou.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1

    您还可以自定义镜像。具体操作，请参见项目代码目录内的README文档。

    registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1

    大约等待1~2分钟后，部署状态显示部署成功，表示当前版本部署完成。

    image..png

  4. 检查函数model的镜像加速准备状态。

    函数计算提供镜像加速功能，可以对AI大镜像进行启动优化，仅当镜像加速准备状态为可用时，才可以开始进行函数调用。

    1. 在应用详情页面，单击环境名称，本示例以默认环境为例。

      image..png

    2. 选择环境详情页签，在资源信息区域，单击函数model。

      image..png

    3. 在model函数详情页面的函数配置页签，在环境信息区域，观察镜像加速准备状态，等待状态变更为可用。

      image..png

  5. 返回到已创建应用的应用详情页面，找到目标环境，光标移至其右侧操作列的访问域名，单击访问第一个域名。

    image..png

    由于当前模型较大，完全加载大概需要5~8分钟。加载过程如下图所示。

    image..png

    加载完成后，呈现以下页面，表示您已成功搭建mPLUG图像描述模型。

    image..png

识别图片内容

您可以使用以下两种方式上传图片，并获取图片描述。

  • 直接输入图片链接进行解析

    在输入框内输入您要解析的图片地址，单击使用图片链接。

    image..png

  • 上传本地图片进行解析

    单击选择图片，选择需要解析的本地图片并上传后将自动进行解析。

    image..png

删除资源

如您暂时不需要使用此应用，请及时删除对应资源。如您需要长期使用此应用，请忽略此步骤。

  1. 返回函数计算控制台概览页面，在左侧导航栏，单击应用。

  2. 单击目标应用右侧操作列的删除，在弹出的删除应用对话框，勾选我已确定资源删除的风险，依旧要删除上面已选择的资源，然后单击删除应用及所选资源。

    image..png

费用说明

套餐领取

为了方便您体验本文提供的文生成图的场景，首次开通用户可以领取试用套餐并开通函数计算服务。该套餐不支持抵扣公网出流量和磁盘使用量的费用。如果您没有购买相关资源包，公网出流量和超出512 MB的磁盘使用量将按量付费。

公网出流量和磁盘使用量评估

当前应用磁盘使用量为512 MB，不需要支付费用。在加载前端页面时，需要约1 MB的公网出流量。传输图片也需要消耗一定的流量，在下面费用评估时假设一张图片2 MB。

公网出流量使用量和磁盘使用量费用可参考以下表格内容。

说明

实际费用与图片大小、调用频率等多种因素有关系，预估费用仅供参考。

计费项

单价

使用量

费用

公网出流量

前端页面加载

0.50元/GB

1 MB

0.00049元

传输一张图片

2 MB

0.00098元

磁盘使用量

不超出512 MB：免费

512 MB

0元

资源消耗评估

函数计算配置：CPU 8核、内存8 GB、磁盘 512 MB。通过多次图片处理，给出冷启动和热启动对应的资源消耗平均值。

资源

冷启动（31s）

热启动（5.375s）

CPU资源消耗

8 vCPU * 31秒 = 248 vCPU*秒

8 vCPU * 5.375秒 = 43 vCPU*秒

内存资源消耗

8 GB * 31秒 = 248 GB*秒

8 GB * 5.375秒 = 43 GB*秒

磁盘资源消耗

< 512 MB

< 512 MB

公网出流量

  • 前端页面加载：1 MB

  • 传输1张图片：约2 MB

  • 前端页面加载：1 MB

  • 传输1张图片：约2 MB

如果您领取了试用套餐，根据上述资源消耗情况，可以评估出套餐能支持多少张图片的处理。

说明

在连续调用的情况下，只有首次为冷启动，后续均为热启动。所以以下评估信息以热启动的资源消耗进行评估。

资源

套餐额度

生成图片张数

CPU

前50万vCPU*秒vCPU资源使用免费

500000/43 = 11627张

内存

前200万GB*秒内存资源使用免费

2000000/43 = 46511张

取上述表格中的最小值，领取的套餐可以支持处理约11627张图片。

除上述的资源外，本文提供的场景还会产生磁盘使用量和公网出流量，这部分的费用评估请参见公网出流量和磁盘使用量评估。

文档推荐
阿里云首页 函数计算（旧版） 相关技术圈