视频信息提取

您可以通过视频信息提取功能,获取媒体文件的封装与音视频流信息,例如:视频分辨率、帧率、音视频编码器类型、是否包含字幕流、视频时长、视频拍摄时间、视频画面宽度和高度等。

使用场景

  • 视频监控:在安全监控系统中使用OSS视频信息提取来识别和跟踪人员、车辆或其他对象的运动以及异常活动。

  • 视频搜索:通过提取视频中的视觉特征或标签,实现视频内容的搜索和检索功能,使用户能够快速找到感兴趣的视频片段。

  • 视频编辑:使用OSS视频信息提取技术,自动识别和提取出视频中的关键帧、音频片段、字幕等,以便进行后续的视频编辑和剪辑。

  • 视频管理:根据视频元数据,如分辨率、码率、帧率、编码标准等对媒体文件进行分类管理,在此基础上根据业务规则进行播放展示。

前提条件

  • 已通过配额中心申请开启新版本IMM Get和Post数据处理能力。

  • 已绑定IMM Project。您可以通过OSS控制台或API绑定IMM Project。

注意事项

  • 视频信息提取仅支持同步处理(x-oss-process处理方式)。

  • 不支持匿名访问。

  • 必须拥有IMM处理所需的相关权限。更多信息,请参见权限

参数说明

操作名称:video/info

说明

返回信息为JSON格式。更多信息,请参见DetectMediaMeta - 获取媒体文件元数据

使用REST API

  • 请求示例

    GET /example.mkv?x-oss-process=video/info HTTP/1.1
    Host: video-demo.oss-cn-hangzhou.aliyuncs.com
    Date: Fri, 28 Oct 2022 06:40:10 GMT
    Authorization: OSS qn6q**************:77Dv****************
  • 返回示例

    HTTP/1.1 200 OK
    Server: AliyunOSS
    Date: Wed, 25 May 2022 12:43:57 GMT
    Content-Type: application/json;charset=utf-8
    Content-Length: 161
    Connection: keep-alive
    x-oss-request-id: 628E2481184E20F26C000009
    x-oss-transfer-acc-type: acc-none
    x-oss-data-location: oss-cn-hangzhou-a
    ETag: "D0F162350DA037F4DC2A142B2E116BD0"
    Last-Modified: Wed,
     25 May 2022 12:20:34 GMT
    x-oss-object-type: Normal
    x-oss-hash-crc64ecma: 2040549661341440100
    x-oss-storage-class: Standard
    x-oss-server-time: 12437
    
    {
      "RequestId":"E63E1EFB-6D65-59DE-A11D-B0B761FDB301",
      "Size":81714666,
      "VideoWidth":2160,
      "FormatLongName":"Matroska / WebM",
      "FormatName":"matroska,webm"
      "Duration":75.669,
      "Bitrate":8639169, 
      "ProduceTime":"2022-01-27T06:08:11Z",
      "StreamCount":4,
      "VideoHeight":3840,
      "VideoStreams":
      [
        {
    	    "CodecTag":"0x0000",
          "FrameRate":"50/1",
          "SampleAspectRatio":"1:1",
          "ColorSpace":"bt709",
          "StartTime":0.044,
          "ColorRange":"tv",
          "CodecName":"h264",
          "BitDepth":8,
          "Profile":"High",
          "DisplayAspectRatio":"9:16",
          "CodecTagString":"[0][0][0][0]",
          "HasBFrames":1,
          "AverageFrameRate":"50/1",
          "ColorPrimaries":"bt709",
          "CodecLongName":"H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10",
          "Height":3840,
          "PixelFormat":"yuv420p",
          "Level":51,
          "Width":2160,
          "TimeBase":"1/1000"
        }
      ],
      "AudioStreams":
      [
        {
    	    "CodecTag":"0x0000",
          "CodecTagString":"[0][0][0][0]",
          "SampleRate":48000,
          "ChannelLayout":"stereo",
          "CodecLongName":"AAC (Advanced Audio Coding)",
          "Index":1,
          "CodecName":"aac",
          "TimeBase":"1/1000",
          "SampleFormat":"fltp",
          "Channels":2
        },
        {
          "CodecTag":"0x0000",
          "CodecTagString":"[0][0][0][0]",
          "SampleRate":48000,
          "ChannelLayout":"stereo",
          "CodecLongName":"AAC (Advanced Audio Coding)",
          "Index":2,
          "CodecName":"aac",
          "TimeBase":"1/1000",
          "SampleFormat":"fltp",
          "Channels":2
    	}
      ],
      "Subtitles":
      [
        {
          "CodecTag":"0x0000",
          "CodecTagString":"[0][0][0][0]",
          "CodecLongName":"SubRip subtitle",
          "Index":3,
          "Duration":75.669,
          "CodecName":"subrip"
        }
      ],
    }

使用SDK

以下仅列举常见SDK通过处理参数的方式提取视频信息的代码示例。如需使用其他SDK提取视频信息的代码示例,请参见以下常见SDK自行调整。

Java

要求使用3.17.4及以上版本的Java SDK。

import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.model.OSSObject;
import com.aliyun.oss.model.GetObjectRequest;
import com.aliyuncs.exceptions.ClientException;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.UnsupportedEncodingException;

public class Demo {
    public static void main(String[] args) throws ClientException, ClientException {
        // yourEndpoint填写Bucket所在地域对应的Endpoint。
        String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
        // 填写Endpoint对应的Region信息,例如cn-hangzhou。
        String region = "cn-hangzhou";
        // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 指定Bucket名称。
        String bucketName = "examplebucket";
        // 如果视频位于Bucket根目录,则直接填写视频名称。如果视频不在Bucket根目录,需携带视频完整路径,例如exampledir/example.mp4。
        String key = "example.mp4";

        // 创建OSSClient实例。
        ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
        clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);
        OSS ossClient = OSSClientBuilder.create()
                .endpoint(endpoint)
                .credentialsProvider(credentialsProvider)
                .clientConfiguration(clientBuilderConfiguration)
                .region(region)
                .build();

        try {
            // 构建视频信息提取的处理指令。
            GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, key);
            getObjectRequest.setProcess("video/info");

            // 使用getObject方法,并通过process参数传入处理指令。
            OSSObject ossObject = ossClient.getObject(getObjectRequest);

            // 读取并打印视频信息。
            ByteArrayOutputStream baos = new ByteArrayOutputStream();
            byte[] buffer = new byte[1024];
            int bytesRead;
            while ((bytesRead = ossObject.getObjectContent().read(buffer)) != -1) {
                baos.write(buffer, 0, bytesRead);
            }
            String videoInfo = baos.toString("UTF-8");
            System.out.println("Video Info:");
            System.out.println(videoInfo);
        } catch (IOException e) {
            System.out.println("Error: " + e.getMessage());
        } finally {
            // 关闭OSSClient。
            ossClient.shutdown();
        }
    }
}

PHP

要求使用PHP SDK 2.7.0及以上版本。

<?php
if (is_file(__DIR__ . '/../autoload.php')) {
    require_once __DIR__ . '/../autoload.php';
}
if (is_file(__DIR__ . '/../vendor/autoload.php')) {
    require_once __DIR__ . '/../vendor/autoload.php';
}
use OSS\Credentials\EnvironmentVariableCredentialsProvider;
use OSS\OssClient;

try {
    // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
    $provider = new EnvironmentVariableCredentialsProvider(); 
    // 填写Bucket所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
    $endpoint = 'https://oss-cn-hangzhou.aliyuncs.com';
    // 填写Bucket名称,例如examplebucket。
    $bucket = 'examplebucket';
    // 如果视频位于Bucket根目录,则直接填写视频名称。如果视频不在Bucket根目录,需携带视频完整路径,例如exampledir/example.mp4。
    $key = 'example.mp4'; 

    $config = array(
        "provider" => $provider,
        "endpoint" => $endpoint,        
        "signatureVersion" => OssClient::OSS_SIGNATURE_VERSION_V4,
        // 填写阿里云通用Region ID。
        "region" => "cn-hangzhou"
    );
    $ossClient = new OssClient($config);
  // 构建视频信息提取的处理指令。
  $options[$ossClient::OSS_PROCESS] = "video/info";
  $result = $ossClient->getObject($bucket,$key,$options);
  var_dump($result);
} catch (OssException $e) {
  printf($e->getMessage() . "\n");
  return;
}

Python

要求使用Python SDK 2.18.4及以上版本。

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider

# 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填写Bucket所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
endpoint = 'https://oss-cn-hangzhou.aliyuncs.com'
# 填写阿里云通用Region ID。
region = 'cn-hangzhou'
bucket = oss2.Bucket(auth, endpoint, 'examplebucket', region=region)

# 如果视频位于Bucket根目录,则直接填写视频名称。如果视频不在Bucket根目录,需携带视频完整路径,例如exampledir/example.mp4。
key = 'example.mp4'

# 构建视频信息提取的处理指令。
process = 'video/info'

try:
    # 使用get_object方法,并通过process参数传入处理指令。
    result = bucket.get_object(key, process=process)

    # 读取并打印视频信息。
    video_info = result.read().decode('utf-8')
    print("Video Info:")
    print(video_info)
except oss2.exceptions.OssError as e:
    print("Error:", e)

Go

要求使用Go SDK 3.0.2及以上版本。

package main

import (
	"fmt"
	"io"
	"os"

	"github.com/aliyun/aliyun-oss-go-sdk/oss"
)

func main() {
	// 从环境变量中获取临时访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
	provider, err := oss.NewEnvironmentVariableCredentialsProvider()
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 创建OSSClient实例。
	// yourEndpoint填写Bucket对应的Endpoint,以华东1(杭州)为例,填写为https://oss-cn-hangzhou.aliyuncs.com。其他Region请按实际情况填写。
	// yourRegion指定阿里云通用Region ID,例如cn-hangzhou。
	client, err := oss.New("https://oss-cn-hangzhou.aliyuncs.com", "", "", oss.SetCredentialsProvider(&provider), oss.AuthVersion(oss.AuthV4), oss.Region("cn-hangzhou"))
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 指定Bucket名称,例如examplebucket。
	bucketName := "examplebucket"

	bucket, err := client.Bucket(bucketName)
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
        // 如果视频位于Bucket根目录,则直接填写视频名称。如果视频不在Bucket根目录,需携带视频完整路径,例如exampledir/example.mp4。
        // 通过oss.Process方法构建视频信息提取的处理指令。
	body, err := bucket.GetObject("example.mp4", oss.Process("video/info"))
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}

	defer body.Close()

	data, err := io.ReadAll(body)
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	fmt.Println("data:", string(data))
}