本文介绍动作行为识别RecognizeAction的语法及示例。

功能描述

动作行为识别可以识别视频和图像中的人体动作行为,并返回识别后的行为类别。当前可以识别的行为类别包括:举手、吃喝、吸烟、打电话、玩手机、趴桌睡觉、跌倒、洗手、拍照。您可以根据系统提供的动作置信度判断阈值,对识别的动作进行判断。

应用场景

  • 驾驶员监控系统(DMS):检测驾驶员是否存在吸烟、吃喝、打电话、玩手机等影响安全驾驶的行为。
  • 学习状况监测:监测学习过程是否存在举手、玩手机、趴桌子睡觉等行为。
  • 公共场所行为监测:监测在博物馆、展览馆等公共场所是否存在吸烟、打电话、拍照等不文明行为,以及是否有跌倒这样的异常情况发生。
  • 工作场所监督:监测在工作场所是否存在吃喝、吸烟、打电话、趴桌子睡觉等行为,是否有按要求洗手。

特色优势

  • 覆盖多种应用场景:支持识别举手、吃喝、吸烟、打电话、玩手机、睡觉、跌打、洗手、拍照等行为,涵盖驾驶、学习、泛安防等多种场景。
  • 适应多种光照条件:适应在自然光、室内光照、夜晚红外模式等光照条件下的行为识别。

前提条件

请确保您已开通人脸人体服务,若未开通服务请立即开通

输入限制

  • 视频要求:

    1. 时长大于2秒,小于5秒。如果输入视频时长大于5秒,系统仅返回前5秒的检测结果。

    2. 视频大小应小于10M。

    3. 分辨率大于256×256像素,小于等于1280×720像素。

    4. 支持一些常见的视频格式,例如MPEG、AVI、MOV、MP4。
    说明 建议为居家摄像头或近距离监控场景。即摄像头固定不动,拍摄距离为2米~10米。
  • 图像要求:

    1. 帧数4帧,为2秒视频均匀抽帧的结果。

    2. 分辨率大于256×256像素,小于等于1280×720像素。

    3. 支持的格式为JPEG、PNG、BMP、JPG。

    4. 可使用URL与Base64编码字符串混合输入。

  • URL地址中不能包含中文字符。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 示例值 描述
Action String RecognizeAction

要执行的操作。取值:RecognizeAction。

Type Integer 0

输入内容类型,包括视频和图像两种类型。

  • 0:表示输入视频URL或视频Base64编码字符串。
  • 1:表示输入图像URL或图像Base64编码字符串。
  • 其他:非法输入。
VideoUrl String http://zhongbao-app.oss-cn-shanghai.aliyuncs.com/20201797/151872261_1584522154910.mp4

Type为0时需要输入的视频URL地址。当前仅支持上海地域的OSS链接,如何生成URL请参见生成URL

VideoData String iVBORw0KGgoAAAANSUhEUgAAAoAAAAHJCAIAAACaEB9NAAEAAElEQVR4nNT9Wb****

视频Base64编码字符串,与VideoURL共存时,VideoURL优先。

URLList.N.URL String https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00001.jpg,https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00003.jpg,https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00004.jpg,https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00002.jpg

Type为1时需要输入的图像URL地址,必须输入4张图像,且4张图像必须为两秒钟视频均匀采样的图像。当前仅支持上海地域的OSS链接,如何生成URL请参见生成URL

URLList.N.imageData String /9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgQ****

图像Base64编码字符串,与URL共存时,URL优先。

返回数据

名称 类型 示例值 描述
Data Struct

返回的结果数据内容。

Elements Array of Element

返回的结果元素列表。

Boxes Array of Boxes

具体动作的坐标框列表。

Box List [1119,576,1373,970]

具体动作的坐标框信息。

Labels List 跌倒

识别到的行为类别。

Scores List 0.702967643737793

行为类别的置信度。取值范围0~1,值越大,识别到的动作越准确。系统根据算法,为不同的动作给出判断的阈值标准,您也可以根据自己的实际情况,对判断的阈值标准进行调整。

  • 举手:0.5(低于0.5则认为不是举手行为,否则认为是举手行为。)
  • 吃喝:0.5(低于0.5则认为不是吃喝行为,否则认为是吃喝行为。)
  • 吸烟:0.5(低于0.5则认为不是吸烟行为,否则认为是吸烟行为。)
  • 打电话:0.5(低于0.5则认为不是打电话行为,否则认为是打电话行为。)
  • 玩手机:0.5(低于0.5则认为不是玩手机行为,否则认为是玩手机行为。)
  • 趴桌睡觉:0.5(低于0.5则认为不是趴桌睡觉行为,否则认为是趴桌睡觉行为。)
  • 跌倒:0.5(低于0.5则认为不是跌倒行为,否则认为是跌倒行为。)
  • 洗手:0.5(低于0.5则认为不是洗手行为,否则认为是洗手行为。)
  • 拍照:0.5(低于0.5则认为不是拍照行为,否则认为是拍照行为。)
Timestamp Integer 3

当前行为在视频或者图像中发生的时间戳信息。

RequestId String E9C40AF5-A7F8-49D5-8A0C-B21F15A07F17

请求ID。

示例

请求示例

http(s)://[Endpoint]/?Action=RecognizeAction
&Type=0
&<公共请求参数>

正常返回示例

XML格式

<RequestId>E9C40AF5-A7F8-49D5-8A0C-B21F15A07F17</RequestId>
<Data>
    <Elements>
        <Timestamp>1</Timestamp>
    </Elements>
    <Elements>
        <Scores>0.702967643737793</Scores>
        <Labels>跌倒</Labels>
        <Timestamp>3</Timestamp>
        <Boxes>
            <Box>1119</Box>
            <Box>576</Box>
            <Box>1373</Box>
            <Box>970</Box>
        </Boxes>
    </Elements>
    <Elements>
        <Scores>0.7334273457527161</Scores>
        <Labels>跌倒</Labels>
        <Timestamp>5</Timestamp>
        <Boxes>
            <Box>1128</Box>
            <Box>613</Box>
            <Box>1363</Box>
            <Box>991</Box>
        </Boxes>
    </Elements>
</Data>

JSON格式

{
    "RequestId": "E9C40AF5-A7F8-49D5-8A0C-B21F15A07F17",
    "Data": {
        "Elements": [
            {
                "Timestamp": 1
            },
            {
                "Scores": 0.702967643737793,
                "Labels": "跌倒",
                "Timestamp": 3,
                "Boxes": {
                    "Box": [
                        1119,
                        576,
                        1373,
                        970
                    ]
                }
            },
            {
                "Scores": 0.7334273457527161,
                "Labels": "跌倒",
                "Timestamp": 5,
                "Boxes": {
                    "Box": [
                        1128,
                        613,
                        1363,
                        991
                    ]
                }
            }
        ]
    }
}

错误码

关于动作行为识别的错误码,详情请参见常见错误码

SDK参考

阿里云视觉AI能力支持使用SDK调用,具体可参见SDK总览下载安装。

安全声明

  • 请确保上传的图片或文件来源符合相应的法律法规。
  • 通过体验调试上传的临时文件有效期为1小时,在24小时后会被系统自动清理删除。