图像描述模型可以根据图片信息生成一句对应的描述,可以用于给一张图片配上一句文字或者打个标签的场景。本文介绍如何使用函数计算部署图像描述模型mPLUG。
背景信息
AIGC(Artificial Intelligence Generated Content)是指人工智能生成内容。“图生文”技术是指使用AI进行图片理解和分析,并获取图片描述。
mPLUG模型是统一理解和生成的多模态基础模型,该模型提出了基于skip-connections的高效跨模态融合框架。更多信息,请参见mPLUG。
本文介绍的mPLUG模型是指mPLUG图像描述模型-中文-base,参数量约为3.5亿,依照Apache License 2.0发布。
阿里云不对第三方模型的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。
您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。
前提条件
已开通函数计算服务,详情请参见开通函数计算服务。
操作步骤
部署并使用mPLUG应用框架将产生部分费用,包括vCPU资源使用、内存资源使用、磁盘资源使用和公网出流量以及函数调用的费用。具体信息,请参见计费概述。
创建应用
登录函数计算控制台,在左侧导航栏,单击应用。
如果您首次使用函数计算的应用中心,或您的账号下没有创建任何应用,在左侧导航栏,单击应用后,将自动进入创建应用页面。
如果您之前使用过应用中心,在左侧导航栏,单击应用,然后在应用页面单击创建应用。
在创建应用页面,选择通过模板创建应用,然后在应用列表中搜索并选择图生文-图像描述模板,光标移至该卡片,然后单击立即创建。
在创建应用页面,设置以下配置项,然后单击创建并部署默认环境。
主要配置项说明如下,其余配置项保持默认值即可。
配置项
说明
示例值
部署类型
选择部署应用的方式。
直接部署
角色名称
首次登录用户,需要单击前往授权配置角色权限。
如果您的角色名称已有相关权限,则无需设置。
AliyunFCServerlessDevsRole
地域
选择部署应用的地域。
重要如果部署异常,例如AIGC公共镜像拉取耗时长,拉取失败,请切换到其他地域重试。
华北2(北京)
fc-mplug-image-captioning 镜像地址
输入mPLUG镜像地址。镜像地址需要与应用所在的地域保持一致。
为了方便您使用,函数计算提供以下基于开源项目构建的镜像,您可以直接使用。
上海地域镜像:registry.cn-shanghai.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
北京地域镜像:registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
深圳地域镜像:registry.cn-shenzhen.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
杭州地域镜像:registry.cn-hangzhou.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
您还可以自定义镜像。具体操作,请参见项目代码目录内的README文档。
registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
大约等待1~2分钟后,部署状态显示部署成功,表示当前版本部署完成。
检查函数
model
的镜像加速准备状态。函数计算提供镜像加速功能,可以对AI大镜像进行启动优化,仅当镜像加速准备状态为可用时,才可以开始进行函数调用。
在应用详情页面,单击环境名称,本示例以默认环境为例。
选择环境详情页签,在资源信息区域,单击函数
model
。在
model
函数详情页面的函数配置页签,在环境信息区域,观察镜像加速准备状态,等待状态变更为可用。
返回到已创建应用的应用详情页面,找到目标环境,光标移至其右侧操作列的访问域名,单击访问第一个域名。
由于当前模型较大,完全加载大概需要5~8分钟。加载过程如下图所示。
加载完成后,呈现以下页面,表示您已成功搭建mPLUG图像描述模型。
识别图片内容
您可以使用以下两种方式上传图片,并获取图片描述。
直接输入图片链接进行解析
在输入框内输入您要解析的图片地址,单击使用图片链接。
上传本地图片进行解析
单击选择图片,选择需要解析的本地图片并上传后将自动进行解析。
删除资源
如您暂时不需要使用此应用,请及时删除对应资源。如您需要长期使用此应用,请忽略此步骤。
返回函数计算控制台概览页面,在左侧导航栏,单击应用。
单击目标应用右侧操作列的删除,在弹出的删除应用对话框,勾选我已确定资源删除的风险,依旧要删除上面已选择的资源,然后单击删除应用及所选资源。
费用说明
套餐领取
为了方便您体验本文提供的文生成图的场景,首次开通用户可以领取试用套餐并开通函数计算服务。该套餐不支持抵扣公网出流量和磁盘使用量的费用。如果您没有购买相关资源包,公网出流量和超出512 MB的磁盘使用量将按量付费。
公网出流量和磁盘使用量评估
当前应用磁盘使用量为512 MB,不需要支付费用。在加载前端页面时,需要约1 MB的公网出流量。传输图片也需要消耗一定的流量,在下面费用评估时假设一张图片2 MB。
公网出流量使用量和磁盘使用量费用可参考以下表格内容。
实际费用与图片大小、调用频率等多种因素有关系,预估费用仅供参考。
计费项 | 单价 | 使用量 | 费用 | |
公网出流量 | 前端页面加载 | 0.50元/GB | 1 MB | 0.00049元 |
传输一张图片 | 2 MB | 0.00098元 | ||
磁盘使用量 | 不超出512 MB:免费 | 512 MB | 0元 |
资源消耗评估
函数计算配置:CPU 8核、内存8 GB、磁盘 512 MB。通过多次图片处理,给出冷启动和热启动对应的资源消耗平均值。
资源 | 冷启动(31s) | 热启动(5.375s) |
CPU资源消耗 |
|
|
内存资源消耗 |
|
|
磁盘资源消耗 | < 512 MB | < 512 MB |
公网出流量 |
|
|
如果您领取了试用套餐,根据上述资源消耗情况,可以评估出套餐能支持多少张图片的处理。
在连续调用的情况下,只有首次为冷启动,后续均为热启动。所以以下评估信息以热启动的资源消耗进行评估。
资源 | 套餐额度 | 生成图片张数 |
CPU | 前50万vCPU*秒vCPU资源使用免费 |
|
内存 | 前200万GB*秒内存资源使用免费 |
|
取上述表格中的最小值,领取的套餐可以支持处理约11627张图片。
除上述的资源外,本文提供的场景还会产生磁盘使用量和公网出流量,这部分的费用评估请参见公网出流量和磁盘使用量评估。