在ModelHub,PAI提供丰富的视频智能处理模型,本文介绍各视频智能处理模型的详细信息,包括模型功能、输入格式、输出格式及使用示例。

背景信息

在ModelHub,PAI提供以下视频智能处理模型。
模型 功能
通用视频分类 基于UCF101数据集训练的视频分类模型,该模型采用ResNet3D架构。
视频集锦生成 选取视频中的精彩集锦,生成一个5s的视频片段。
视频超分 对低分辨率的视频进行超分,从而得到高分辨率的视频。

ModelHub登录入口

您可以通过如下方法进入ModelHub:
  1. 登录PAI控制台
  2. 在左侧导航栏,选择AI资产管理 > 模型管理
  3. PAI模型管理页面,单击ModelHub页签。

通用视频分类

  • 模型介绍

    基于UCF101数据集训练的视频分类模型,该模型采用ResNet3D架构,详情请参见Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?

  • 输入格式
    输入数据为JSON格式字符串,包含urlplay_duration字段。其中url对应的value表示输入视频的URL,play_duration对应的value表示需要分类的视频前play_duration微秒。如果未指定play_duration,则默认为视频的全部长度。具体格式如下所示。
    {
      "input": {
        "url": "输入视频的URL",
        "play_duration": "输入视频的长度"
      }
    }
  • 输出格式
    输出数据是JSON格式的KV对,包含的字段如下表所示。
    字段 描述 维度 类型
    class 类别名称 [] STRING
  • 示例
    例如,为该模型输入如下测试数据。
    {"input" : {"url": "http://pai-vision-data-sh.oss-cn-shanghai-internal.aliyuncs.com/tmp/50005632219.mp4"}}
    系统输出如下结果。
    {"class":"Skiing"}

视频集锦生成

  • 模型介绍

    模型选取视频中的精彩集锦,生成一个5s的视频片段。

  • 输入格式
    输入数据为JSON格式字符串,包含urlplay_duration字段。其中url对应的value表示输入视频的URL,play_duration对应的value表示需要生成视频片段的视频前play_duration微秒。如果未指定play_duration,则默认为视频的全部长度。具体格式如下所示。
    {
      "input": {
        "url": "输入视频的URL",
        "play_duration": "输入视频的长度"
      }
    }
  • 输出格式
    输出数据是JSON格式的KV对,包含的字段如下表所示。
    字段 描述 维度 类型
    oss_path 生成的视频片段的存储地址 [] STRING
    result 结果字段 [] STRING
    success 是否成功,取值如下:
    • true:成功。
    • false:失败。
    [] BOOL
  • 示例
    例如,为该模型输入如下测试数据。
    {"input" : {"url": "http://pai-vision-data-sh.oss-cn-shanghai-internal.aliyuncs.com/tmp/50005632219.mp4"}}
    系统输出如下结果。
    {
       "oss_path": "oss://experience-ai/video_5s/50005632219.mp4",
       "result": "",
       "success": true
    }

视频超分

  • 模型介绍

    模型对低分辨率的视频进行超分,从而得到高分辨率的视频。

  • 输入格式
    输入数据是JSON格式字符串,包括以下参数。
    参数 是否必选 描述 类型
    url 输入视频的URL。 STRING
    play_duration 需要生成的视频的前play_duration微秒。如果不填写该参数,则默认为视频的全部长度。 STRING
    输入示例如下所示。
    {
      "input": {
        "url": "输入视频的URL",
        "play_duration": "输入视频的长度"
      }
    }
  • 输出格式
    参数 描述 维度 类型
    oss_path 生成的视频存储的地址。 [] STRING
    success 是否超分成功,取值包括:
    • true:超分成功。
    • false:超分失败。
    [] BOOL
    result 结果字段。 [] STRING
  • 示例
    例如,为该模型输入如下测试数据。
    {
        "input" : {
            "url": "http://pai-vision-data-sh.oss-cn-shanghai-internal.aliyuncs.com/tmp/5000563****.mp4"
        }
    }
    系统输出如下结果。
    {
        "oss_path": "oss://experience-ai/video_sr/5000563****.mp4", 
        "result": "", 
        "success": true
    }