全部产品
云市场

离线增量

更新时间:2020-03-24 15:42:11

适用场景

离线增量方式适用于较大规模(百万级)、离线数据操作。

操作步骤

离线增量需要用户开通对象存储( OSS,以下统称 OSS )服务,并对 图像搜索 服务账号进行授权,具体操作步骤如下:

1. 开通OSS

  • 如果您尚未开通 OSS,请参考 OSS官方开通文档 进行开通。 请确保开通的OSS服务与已购买的图像搜索服务在同一个地域。
  • 开通OSS服务后,需创建相应的存储空间(bucket),请参考OSS创建存储空间

2. 导入数据

完成存储空间(bucket)创建后,需要将增量的数据导入到您的 bucket 中,为此我们约定如下:

  • 图像搜索服务不限定路径(Path),您可以自定义路径,在 提交增量 步骤中传入即可。
  • 在您定义的路径下需要创建 increment.meta 文件,以存储增量任务相关内容,具体内容格式为:
    • 每行对应一个商品(商品、布料、商标图片搜索)或者一张图片(通用图片搜索)。
    • 每个商品/图片由 Json 格式表示,具体字段含义如下表:
字段名 类型 是否必须 含义 说明
operator String 操作类型 ADD表示新增商品/图片。

DELETE表示删除商品/图片。
item_id String 商品/图片唯一标识符 对于商品图片搜索为商品 ID。

对于通用图片搜索为图片名称。
cat_id Integer 类目信息 图片类目:类目参考

说明

1. 对于商品搜索:若设置类目,则以设置的为准;若不设置类目,将由系统进行类目预测,预测的类目结果可在Response中获取 。

2. 对于布料、商标、通用搜索:不论是否设置类目,系统会将类目设置为88888888。
cust_content String 用户自定义内容 用户自定义的内容,最多支持 4096个字符。

说明: 查询时会返回该字段。例如可添加图片的描述等文本。
int_attr Integer 整数类型属性 可用于查询时过滤,查询时会返回该字段。

说明: 例如不同的站点的图片/不同用户的图片,可以设置不同的IntAttr,查询时通过过滤来达到隔离的目的。详情请见:条件过滤
str_attr String 字符串类型属性 最多支持 128个字符。可用于查询时过滤,查询时会返回该字段。详情请见:条件过滤
pic_list Array 图片列表 此处为需要上传的图片名称,系统会处理对应的图片。

说明:最多只允许填写3个图片名称。
crop Boolean 主体识别 是否需要进行主体识别,默认为true。

说明

1.为true时,由系统进行主体识别,以识别的主体进行搜索,主体识别结果可在Response中获取。

2. 为false时,则不进行主体识别,以整张图进行搜索。

3. 对于布料图片搜索,此参数会被忽略,系统会以整张图进行搜索。
region String 主体区域 图片的主体区域,格式为 x1,x2,y1,y2, 其中 x1,y1 是左上角的点,x2,y2是右下角的点。

说明

1.若用户设置了Region,则不论Crop参数为何值,都将以用户输入Region进行搜索。

2. 对于布料图片搜索,此参数会被忽略,系统会以整张图进行搜索。
  • increment.meta参考示例:

    1. {"operator":"ADD","item_id":"1000", "cat_id":0, "int_attr":0, "str_attr":"value1", "cust_content":"k1:v1,k2:v2,k3:v3", "region":"20,40,60,80", "pic_list":["girl_cloth1.jpg","girl_cloth2.jpg"]}
    2. {"operator":"ADD","item_id":"1001", "cat_id":1,"cust_content":"k1:v1,k2:v2,k3:v3", "pic_list":["girl_cloth3.jpg"]}
    3. {"operator":"ADD","item_id":"1002", "cat_id":0, "cust_content":"k1:v1,k2:v2,k3:v3", "crop": false, "pic_list":["girl_cloth4.jpg","girl_cloth5.jpg"]}
    4. {"operator":"ADD","item_id":"1003", "cust_content":"k1:v1,k2:v2,k3:v3", "pic_list":["girl_cloth6.jpg"]}
    5. {"operator":"DELETE","item_id":"1004", "pic_list":["fengyi.jpg"]}
    6. {"operator":"DELETE","item_id":"1005"}
  • increment.meta 文件中涉及的图片存放在 increment.meta 文件所在的同一路径下。

具体上传操作,请参考 OSS文件上传

3. 授权访问

图像搜索产品使用 OSS 服务来实现数据增量,是需要您通过STS(Security Token Service),给 图像搜索 服务账号颁发一个临时访问令牌来实现的。

主要步骤有三步,包括:

  • step1.创建新的ram角色,并赋予图搜访问权限;
  • step2.新增”权限策略”;
  • step3.给step1中新建的ram角色授予step2中新增的”权限策略”。

    具体说明如下:

step1.创建角色

i. 在 RAM 控制台上,选择 RAM角色管理 > 创建RAM角色ram1ii. 选择角色类型。这里选择阿里云服务,点击下一步。ram2iii. 配置角色基本信息。角色类型选择普通角色类型;自行填写角色名称;选择授信服务选择图像搜索。点击完成即可。ram3

step2.新增”权限策略”

创建完角色之后,角色是没有任何权限的,需要创建一个授权策略来为服务账号来授予相应的权限,此处需要对oss资源进行授权。

授权策略如下:

  1. {
  2. "Version": "1",
  3. "Statement": [
  4. {
  5. "Effect": "Allow",
  6. "Action": [
  7. "oss:GetObject"
  8. ],
  9. "Resource": [
  10. "acs:oss:*:*:${bucket}/${path}/*"
  11. ]
  12. }
  13. ]
  14. }
  • ${bucket}: 表示您在 OSS 上创建的 bucket。
  • ${path}: 表示您的增量文件存储的路径。

示例

以用户的 bucket 为 imagesearch-increment,文件存储路径为 /increment 为例,授权策略如下:

  1. {
  2. "Version": "1",
  3. "Statement": [
  4. {
  5. "Effect": "Allow",
  6. "Action": [
  7. "oss:GetObject"
  8. ],
  9. "Resource": [
  10. "acs:oss:*:*:imagesearch-increment/increment/*"
  11. ]
  12. }
  13. ]
  14. }

具体授权操作步骤如下:

  1. 在RAM控制台上,选择 权限策略管理 > 创建权限策略ram4

  2. 填写 新建自定义权限策略。自行填写策略名称;配置模式选择脚本配置;在下方空白处填写授权策略,注意替换响应的oss bucket和文件路径。填写完成后点击确定。ram5

step3. 给step1中新建的ram角色授予step2中新增的”权限策略”。

  1. 回到RAM角色管理,找到step1中创建的角色,点击进入详情页。ram6

  2. 点击添加权限ram7

  3. 选择权限勾选“自定义权限策略”,并选择step2中创建的“权限策略”。点击确定即可。ram8ram94.在详情页可看到“自定义策略”已新增。ram10

提交增量

实例列表页 或者 实例详情页 单击 增量 按钮,填入相应信息后,单击 提交 按钮,将触发后台服务从OSS上拉取数据,进行更新。

image.png | center | 830x404

资源名称(Arn):单击上述 授权访问 部分新建的角色,取 Arn 字段,示例如下:ram11

Bucket 名称:OSS 上创建的相应的 bucket 名称。

请确保开通的OSS服务与已购买的图像搜索服务在同一个地域。

数据路径:增量数据存储的路径。

路径以/符号开头, 如:/imagesearch

以 Bucket 名称:imagesearch1,数据路径:/imagesearch 为例,如下

image.png | center | 830x406

增量历史

在实例详情页,点击查看增量历史后,可以看到所有的增量任务的历史信息。
某个增量任务状态为成功后,用户可以查看相应的提示信息:

  • 如果提示信息为“部分照片处理失败,已为您分离,点击下载”,则表明该增量任务中有部分图片处理失败,用户可以下载相应文件查看处理失败的原因。
  • 如果提示信息为成功,则表明该任务中所有的图片均已处理成功。