图像检索解决方案

背景信息

问题背景

在图像检索的业务场景中，例如电商业务里用户需要根据已有图像搜索目标商品，此时需要构建图像检索的模型，让用户快速实现以图搜图。

解决方案

PAI在相似图像匹配和图像检索领域，提供了端到端、轻量化的纯白盒解决方案。用户只需准备原始的图像数据，无需标注就能构建模型。然后利用PAI的可视化建模平台快速自定义构建图像自监督模型。最后将模型在PAI上进行部署推理，形成完整的端到端流程，实现相似图像匹配和图像检索的业务系统。

方案优势

• 无需标注：图像不需要标注，使用原始数据即可建模，节省大量人力成本。

• 纯白盒：可根据您自己具体的业务场景，纯自定义构建模型。

• 端到端：从最初的数据准备到最后的模型推理，提供全链路系统构建流程。

• 轻量级：无论是工程师还是小白，都能快速搭建图像匹配和检索系统。

相似图像匹配解决方案架构

图像检索解决方案架构

前提条件

• 已开通PAI（Studio、DSW、EAS）后付费，详情请参见开通。

• 已开通AI工作空间，并开通MaxCompute计算资源和DLC计算资源，详情请参见AI工作空间。

• 已创建OSS存储空间（Bucket），用于存储标签文件和训练获得的模型文件。关于如何创建存储空间，请参见创建存储空间。

• 已创建PAI-EAS专属资源组，本文训练好的模型会部署至该资源组。关于如何创建专属资源组，请参见创建资源组。

数据准备

本文所用到算法为图像自监督算法，训练过程中无需标注的数据，将原始数据存入OSS既可以直接进行模型的训练。另外在进行图像检索的模型部署过程中，需要在本地准备检索图的图像数据库。从而在图像检索模型的部署过程中，将准备好的本地数据注册到数据库中。

PAI提供了原始数据集，您可以直接使用它进行数据准备。关于数据集的下载方式，请参见Deepfashion2图像数据集。

模型训练所需数据

1. 登录OSS控制台，将原始图片存储在OSS的某一目录中。

2. 根据图像上传的OSS文件目录，生成OSS图像目标索引的txt文件，示例文件：。然后将生成好的txt索引文件放在某一OSS目录下。

图像检索数据库

在进行图像检索的模型部署过程中，首先需要准备检索的图像数据库，将注册到数据库中的图像进行特征提取。从而在目标图像的推理过程中，实现针对已存在图像数据库中的数据，对上传的图片进行相似的快速检索。因此需要在本地准备好图像检索数据库中的图像数据，为后续模型部署环节的注册数据库做准备。

图像自监督模型构建

利用PAI提供的可视化建模Studio平台，基于自己特定的业务场景，采用自监督的图像深度学习训练组件，将原始的尚未标注的图像直接进行训练。无论是相似图像匹配的场景还是图像检索的场景，都使用该自监督组件进行模型训练，两种场景在模型训练部分无差别。

1. 进入Designer控制台

   1. 登录PAI控制台。

   2. 在左侧导航栏中，选择模型开发和训练-> 可视化建模(Studio 2.0)。

2. 构建实验

   1. 在可视化建模（Studio 2.0）控制台中，选择实验模板，在实验模板列表中找到相似图像匹配与图像检索，点击并创建实验。

   2. 在实验列表中找到刚才创建好的模板实验，并进入实验。

   3. 系统根据预置的模板，自动构建实验，如下图所示。运行过程中，可以点击组件右键，查看运行日志。

表 1. 数据转tfrecord组件配置

表 2. 图像自监督训练组件设置

模型部署调用

利用PAI提供的EAS模型在线服务平台，将训练好的图像自监督模型进行在线部署，并在实际生产环境中的相似图像匹配和图像检索两个场景下进行服务推理实践。

相似图像匹配部署推理

步骤一：登录PAI-EAS控制台

1. 登录PAI控制台。

2. 在左侧导航栏中，选择模型部署->模型在线服务（EAS）。

步骤二：部署模型服务

1. 部署模型服务在PAI-EAS控制台中，单击模型上传部署进行新建服务，具体参数配置如下：

   参数	描述
   自定义模型名称	模型的名称，建议结合实际业务进行命名，以区分不同的模型服务。
   资源组种类	建议使用专属资源组部署模型服务，从而避免公共资源组资源有限时导致的服务排队。关于如何创建专属资源组，请参见专属资源组。
   资源种类	如果您选择资源组种类为公共资源组，则需要选择资源种类为GPU。
   Processor种类	选择EasyVision。
   模型类型	通用图像比对
   模型文件	本案例中训练好的模型均存储在OSS中，因此选择OSS文件导入。选择训练所用OSS目录下的.pt模型文件即可。例如选择epoch_50_export.pt。

2. 部署详情及配置确认面板，配置模型服务占用资源的相关参数。

   参数	描述
   自定义模型名称	模型的名称，建议结合实际业务进行命名，以区分不同的模型服务。
   资源组种类	建议使用专属资源组部署模型服务，从而避免公共资源组资源有限时导致的服务排队。关于如何创建专属资源组，请参见专属资源组。
   资源种类	如果您选择资源组种类为公共资源组，则需要选择资源种类为GPU。
   Processor种类	选择EasyVision。
   模型类型	通用图像比对
   模型文件	本案例中训练好的模型均存储在OSS中，因此选择OSS文件导入。选择训练所用OSS目录下的.pt模型文件即可。例如选择epoch_50_export.pt。

3. 点击部署，等待一段时间完成模型部署任务的创建。

步骤三：查看模型服务的公网地址和访问Token

1. 在PAI EAS模型在线服务页面，单击目标服务的服务方式列下的调用信息。

2. 在调用信息对话框的公网地址调用页签，查看公网调用的访问地址和Token。

步骤四：使用脚本进行批量调用

1. 创建相似图像匹配的Python脚本img_match.py。

import requests
import base64
import sys
import json

hosts = 'http://16640818xxxxxxx.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/img_match_001'
head = {
            "Authorization":"ZDgzYzdlODg5NTA3ODZiOTY0OWRxxxxxxxxxxxxxxxxxxxxx"
        }

imagea_path =  "./001.jpg"   # 对比图像1的本地路经
imageb_path =  "./002.jpg"   # 对比图像2的本地路经
ENCODING = 'utf-8'

datas = json.dumps( {
            "imagea": base64.b64encode(open(imagea_path, 'rb').read()).decode(ENCODING),
            "imageb": base64.b64encode(open(imageb_path, 'rb').read()).decode(ENCODING),
        })

for x in range(0,1):
    resp = requests.post(hosts, data=datas, headers=head)
    print(resp.content)
print("test endding")

1. 将python脚本上传至您的任意环境，并在脚本上传后的当前目录执行如下调用命令。

$ python3 img_match.py

得到的预测结果如下图所示，得到类似如下的预测结果，其中similarity代表图像的相似度，取值0~1之间，数值越大相似度越高。

步骤五：监控服务指标

调用模型服务后，您可以查看模型调用的相关指标水位，包括QPS、RT、CPU、GPU及Memory。

1. 在PAI EAS模型在线服务页面，单击已调用服务服务监控列下的监控图标。

2. 在服务监控页签，即可查看模型调用的指标水位。从服务监控的水位图中可以看到部署的模型的时延在80ms左右。

图像检索部署推理

步骤一：登录PAI-EAS控制台

1. 登录PAI控制台。

2. 在左侧导航栏中，选择模型部署 ->模型在线服务（EAS）。

步骤二：部署模型服务

1. 在PAI-EAS控制台中，单击模型上传部署进行新建服务，具体参数配置如下：

1. 在部署详情及配置确认面板，配置模型服务占用资源的相关参数。

1. 点击部署，等待一段时间完成模型部署任务的创建。

步骤三：查看模型服务的公网地址和访问Token

1. 在PAI EAS模型在线服务页面，单击目标服务的服务方式列下的调用信息。

2. 在调用信息对话框的公网地址调用页签，查看公网调用的访问地址和Token。

步骤四：图像检索服务推理调用

图像检索服务需要首先建立图像检索数据库，将注册到数据库中的图像进行特征提取，从而实现针对已存在图像数据库中的数据，对上传的图片进行相似的快速检索。详细的接口说明请详见链接。整个过程需要涉及到的接口如下表所示。注：该方案主要针对轻量级数据，如果检索库数据量预期大于1000万，请单独提工单联系我们。

整个过程的最简流程需要用到的接口包括数据库初始化、增加数据库、增加数据、检索数据。示例如下所示。

1. 数据库初始化的Python脚本retrieval_init.py。

import requests
import base64
import sys
import json

ENCODING = 'utf-8'
our_oss_io_config = dict(ak_id='LTAIcsxxxxxxxxxx',    # 阿里云账号的AccessKey
                ak_secret='gsiu1HjLGDxxxxxxxxxxxxx',  # 阿里云账号的AccessKey Secret
                hosts='oss-cn-hangzhou-internal.aliyuncs.com',   # 内网endpoint
                buckets=['tongxin-lly'])    # oss bucket
datas = json.dumps({   
            "function_name": "init",
            "function_params": {
                "backend": "oss",
                "root_path": "oss://tongxin-lly/img_retrieval/db0914/",  # oss具体路经
                "oss_io_config" : our_oss_io_config,
            },
        })
hosts = 'http://16640818xxxxxxx.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/img_retrieval_001'
head = {
            "Authorization":"NTE3Y2M2ZmEzZGQ3ZGRkOGM4ZDxxxxxxxxx"
        }
r = requests.post(hosts, data=datas, headers=head)
print(r.content)
print("test endding")

1. 增加数据库的python脚本retrieval_add.py。注意此处的feature_dim_dict代表模型处理的特征维度，在模型训练时，选择MOBY_TIMM的特征维度为384，其余皆为2048。

import requests
import base64
import sys
import json

ENCODING = 'utf-8'
datas = json.dumps({   
            "function_name": "add",
            "function_params": {
                "database_name" : "tongxin_demo",
                "feature_dim_dict": {'feature' : 384},    #模型训练的特征维度，选择MOBY_TIMM时为384，其余皆为2048。
                "feature_distance_dict":{'feature':'Cosine'},   # 计算特征距离的衡量方法
            },
        })
hosts = 'http://16640818xxxxxx.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/img_retrieval_001'
head = {
            "Authorization":"NTE3Y2M2ZmEzZGQ3ZGRkOGM4ZDE1MDxxxxxxxxxxxxxx"
        }
r = requests.post(hosts, data=datas, headers=head)
print(r.content)
print("test endding")

1. 增加数据的python脚本retrieval_db_set.py。

import requests
import base64
import sys
import json

ENCODING = 'utf-8'
image_path =  "./010.jpg"
datas = json.dumps({   
            "function_name": "db_set",
            "function_params": {
                "database_name":"tongxin_demo",
                "image" : base64.b64encode(open(image_path, 'rb').read()).decode(ENCODING),
                "group_id" : "888",    # 存入该数据的群组名
                "intra_id" : 10        # 该图像群组名下的具体id
            },
        })
hosts = 'http://16640818xxxxxx.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/img_retrieval_001'
head = {
            "Authorization":"NTE3Y2M2ZmEzZGQ3ZGRkOGM4Zxxxxxxxxxxxx"
        }

r = requests.post(hosts, data=datas, headers=head)
print(r.content)
print("test endding")

1. 检索数据的python脚本retrieval_db_search.py。

import requests
import base64
import sys
import json

ENCODING = 'utf-8'
image_path =  "./test.jpg"
datas = json.dumps({   
            "function_name": "db_search",
            "function_params": {
                "database_name":"tongxin_demo",
                "image" : base64.b64encode(open(image_path, 'rb').read()).decode(ENCODING),
                'search_topk' : 3,    # 返回的最相似的k张图像
            },
        })
hosts = 'http://1664081855xxxxxx.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/img_retrieval_001'
head = {
            "Authorization":"NTE3Y2M2ZmEzZGQ3ZGRkOGM4ZDE1MDVhNzxxxxxxxxx"
        }

r = requests.post(hosts, data=datas, headers=head)
print(r.content)
print("test endding")

将上述涉及到的python脚本全部上传至您的任意环境，并在脚本上传后的当前目录依次执行调用命令。

$ python3 retrieval_xxx.py

最后将针对部署好的数据库，进行目标图片的检索，得到的推理预测结果如下图所示。

从模型推理的返回结果可以看到，模型服务返回了该数据库中与目标图片相似度最高的三张图像的group_id和对应intra_id。