您可以使用图片标签检测来识别图片中的场景、物体和事件等标签信息,实现图片的自动打标。本文主要介绍图片标签算子的功能参数和示例。
功能简介
图片标签检测可以识别图片中的场景、物体和事件等内容,实现图片的自动打标。目前支持的标签种类包含三十多个分类、数千个标签,如下图所示。
使用场景
场景名称 | 场景说明 |
内容识别 | 根据拍摄或上传的图片,识别图片中的物品、场景等信息,可应用于拍照识物或科普类的功能或产品中。 |
智能相册 | 根据图片内容信息,对图片进行自动分类,实现相册图库的智能分类,实现高效自动化管理。 |
场景分析 | 对图片中包含的多种事物或场景进行识别,为不同场景打上内容标签,提升场景分析效率,减少人工标注成本。 |
内容运营 | 获取图片标签信息,实现内容推荐,可广泛应用于社交、新闻资讯及电商等内容平台中。 |
前提条件
已开通智能媒体管理(IMM)服务。具体操作,请参见开通产品。
已绑定IMM项目。通过OSS控制台绑定的具体操作,请参见快速入门。通过API绑定的具体操作,请参见AttachOSSBucket。
注意事项
图片标签检测仅支持同步处理(x-oss-process处理方式)。
不支持匿名访问。
必须拥有IMM处理所需的相关权限。更多信息,请参见权限。
图片标签检测仅支持JPG、PNG、JPEG格式。
图片标签检测的图片大小限制如下:
图片大小不超过20 MB
图片高度或宽度不超过3万像素(px)
图片总像素不超过2.5亿像素(px)
参数说明
操作名称:image/labels
请求参数
参数名称 | 类型 | 是否必须 | 描述 | 示例值 |
thr | int | 否 | 小于设定阈值的标签不被显示。取值范围为[0, 100](默认值为70)。 | 50 |
返回参数
具体返回参数,请参见 DetectImageLabels - 检测图片中的标签信息。
使用示例
使用SDK
以下仅列举常见SDK通过处理参数的方式检测图片标签的代码示例。如需使用其他SDK检测图片标签,请参见以下常见SDK自行调整。
Java
要求使用3.17.4及以上版本的Java SDK。
import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.model.OSSObject;
import com.aliyun.oss.model.GetObjectRequest;
import com.aliyuncs.exceptions.ClientException;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
public class Demo {
public static void main(String[] args) throws ClientException, ClientException {
// yourEndpoint填写Bucket所在地域对应的Endpoint。
String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
// 填写Endpoint对应的Region信息,例如cn-hangzhou。
String region = "cn-hangzhou";
// 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
// 指定Bucket名称。
String bucketName = "examplebucket";
// 如果图片位于Bucket根目录,则直接填写图片名称。如果图片不在Bucket根目录,需携带图片完整路径,例如exampledir/example.jpg。
String key = "example.jpg";
// 创建OSSClient实例。
ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);
OSS ossClient = OSSClientBuilder.create()
.endpoint(endpoint)
.credentialsProvider(credentialsProvider)
.clientConfiguration(clientBuilderConfiguration)
.region(region)
.build();
try {
// 构建图片标签检测的处理指令。
GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, key);
getObjectRequest.setProcess("image/labels");
// 使用getObject方法,并通过process参数传入处理指令。
OSSObject ossObject = ossClient.getObject(getObjectRequest);
// 读取并打印信息。
ByteArrayOutputStream baos = new ByteArrayOutputStream();
byte[] buffer = new byte[1024];
int bytesRead;
while ((bytesRead = ossObject.getObjectContent().read(buffer)) != -1) {
baos.write(buffer, 0, bytesRead);
}
String imageLabels = baos.toString("UTF-8");
System.out.println("Image Labels:");
System.out.println(imageLabels);
} catch (IOException e) {
System.out.println("Error: " + e.getMessage());
} finally {
// 关闭OSSClient。
ossClient.shutdown();
}
}
}
Python
要求使用Python SDK 2.18.4及以上版本。
# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
# 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())
# 填写Bucket所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
endpoint = 'https://oss-cn-hangzhou.aliyuncs.com'
# 填写阿里云通用Region ID。
region = 'cn-hangzhou'
bucket = oss2.Bucket(auth, endpoint, 'examplebucket', region=region)
# 如果图片位于Bucket根目录,则直接填写图片名称。如果图片不在Bucket根目录,需携带图片完整路径,例如exampledir/example.jpg。
key = 'example.jpg'
# 构建图片标签检测的处理指令。
process = 'image/labels'
try:
# 使用get_object方法,并通过process参数传入处理指令。
result = bucket.get_object(key, process=process)
# 读取并打印信息。
image_labels = result.read().decode('utf-8')
print("Image Labels:")
print(image_labels)
except oss2.exceptions.OssError as e:
print("Error:", e)
Go
要求使用Go SDK 3.0.2及以上版本。
package main
import (
"fmt"
"io"
"os"
"github.com/aliyun/aliyun-oss-go-sdk/oss"
)
func main() {
// 从环境变量中获取临时访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
provider, err := oss.NewEnvironmentVariableCredentialsProvider()
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
// 创建OSSClient实例。
// yourEndpoint填写Bucket对应的Endpoint,以华东1(杭州)为例,填写为https://oss-cn-hangzhou.aliyuncs.com。其他Region请按实际情况填写。
// yourRegion指定阿里云通用Region ID,例如cn-hangzhou。
client, err := oss.New("https://oss-cn-hangzhou.aliyuncs.com", "", "", oss.SetCredentialsProvider(&provider), oss.AuthVersion(oss.AuthV4), oss.Region("cn-hangzhou"))
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
// 指定Bucket名称,例如examplebucket。
bucketName := "examplebucket"
bucket, err := client.Bucket(bucketName)
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
// 如果图片位于Bucket根目录,则直接填写图片名称。如果图片不在Bucket根目录,需携带图片完整路径,例如exampledir/example.jpg。
// 通过oss.Process方法构建图片标签检测的处理指令。
body, err := bucket.GetObject("example.jpg", oss.Process("image/labels"))
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
defer body.Close()
data, err := io.ReadAll(body)
if err != nil {
fmt.Println("Error:", err)
os.Exit(-1)
}
fmt.Println("data:", string(data))
}
PHP
要求使用PHP SDK 2.7.0及以上版本。
<?php
if (is_file(__DIR__ . '/../autoload.php')) {
require_once __DIR__ . '/../autoload.php';
}
if (is_file(__DIR__ . '/../vendor/autoload.php')) {
require_once __DIR__ . '/../vendor/autoload.php';
}
use OSS\Credentials\EnvironmentVariableCredentialsProvider;
use OSS\OssClient;
try {
// 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
$provider = new EnvironmentVariableCredentialsProvider();
// 填写Bucket所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
$endpoint = 'https://oss-cn-hangzhou.aliyuncs.com';
// 填写Bucket名称,例如examplebucket。
$bucket = 'examplebucket';
// 如果图片位于Bucket根目录,则直接填写图片名称。如果图片不在Bucket根目录,需携带图片完整路径,例如exampledir/example.jpg。
$key = 'example.jpg';
$config = array(
"provider" => $provider,
"endpoint" => $endpoint,
"signatureVersion" => OssClient::OSS_SIGNATURE_VERSION_V4,
// 填写阿里云通用Region ID。
"region" => "cn-hangzhou"
);
$ossClient = new OssClient($config);
// 构建图片标签检测的处理指令。
$options[$ossClient::OSS_PROCESS] = "image/labels";
$result = $ossClient->getObject($bucket,$key,$options);
var_dump($result);
} catch (OssException $e) {
printf($e->getMessage() . "\n");
return;
}
使用REST API
如果您的程序自定义要求较高,您可以直接发起REST API请求。直接发起REST API请求需要手动编写代码计算签名。关于公共请求头Authorization的计算方法请参见签名版本4(推荐)。
您可以通过在GetObject接口中添加x-oss-process参数的方式来处理图片。更多信息请参见GetObject。
不设定过滤阈值情况下获取标签
阈值设定
不设定
处理示例
GET /example.jpg?x-oss-process=image/labels HTTP/1.1
Host: image-demo.oss-cn-hangzhou.aliyuncs.com
Date: Fri, 21 Jul 2023 08:30:25 GMT
Authorization: AuthorizationValue
返回示例
HTTP/1.1 200 OK
Server: AliyunOSS
Date: Fri, 21 Jul 2023 08:30:26 GMT
Content-Type: application/json;charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
x-oss-request-id: 64BA42225DFDD13437ECD00E
Last-Modified: Mon, 10 Jul 2023 13:07:30 GMT
x-oss-object-type: Normal
x-oss-hash-crc64ecma: 13420962247653419692
x-oss-storage-class: Standard
x-oss-ec: 0048-00000104
Content-Disposition: attachment
x-oss-force-download: true
x-oss-server-time: 489
Content-Encoding: gzip
{
"Labels":[
{
"CentricScore": 0.823,
"LabelConfidence": 1.0,
"LabelLevel": 2,
"LabelName": "外套",
"Language": "zh-Hans",
"ParentLabelName": "衣服"
},
{
"CentricScore": 0.721,
"LabelConfidence": 0.735,
"LabelLevel": 2,
"LabelName": "服装",
"Language": "zh-Hans",
"ParentLabelName": "衣服"
},
......,
],
"RequestId": "0EC0B6EC-EB16-5EF4-812B-EF3A60C7D20D"
}
设定过滤阈值情况下获取标签
阈值设定
thr: 85
处理示例
GET /example.jpg?x-oss-process=image/labels,thr_85 HTTP/1.1
Host: image-demo.oss-cn-hangzhou.aliyuncs.com
Date: Fri, 21 Jul 2023 08:44:58 GMT
Authorization: AuthorizationValue
返回示例
HTTP/1.1 200 OK
Server: AliyunOSS
Date: Fri, 21 Jul 2023 08:45:00 GMT
Content-Type: application/json;charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
x-oss-request-id: 64BA458C7FFDC2383651DF09
Last-Modified: Mon, 10 Jul 2023 13:07:30 GMT
x-oss-object-type: Normal
x-oss-hash-crc64ecma: 13420962247653419692
x-oss-storage-class: Standard
x-oss-ec: 0048-00000104
Content-Disposition: attachment
x-oss-force-download: true
x-oss-server-time: 421
Content-Encoding: gzip
{
"RequestId": "B7BDAFD5-C0AF-5042-A749-88BF6E4F2712",
"Labels": [
{
"CentricScore": 0.797,
"Language": "zh-Hans",
"LabelConfidence": 0.927,
"LabelName": "服装",
"LabelLevel": 2,
"ParentLabelName": "衣服"
},
......,
]
}