本文介绍动作行为识别RecognizeAction的语法及示例。
功能描述
动作行为识别可以识别视频和图像中的人体动作行为,并返回识别后的行为类别。当前可以识别的行为类别包括:举手、吃喝、吸烟、打电话、玩手机、趴桌睡觉、跌倒、洗手、拍照。您可以根据系统提供的动作置信度判断阈值,对识别的动作进行判断。
应用场景
- 驾驶员监控系统(DMS):检测驾驶员是否存在吸烟、吃喝、打电话、玩手机等影响安全驾驶的行为。
- 学习状况监测:监测学习过程是否存在举手、玩手机、趴桌子睡觉等行为。
- 公共场所行为监测:监测在博物馆、展览馆等公共场所是否存在吸烟、打电话、拍照等不文明行为,以及是否有跌倒这样的异常情况发生。
- 工作场所监督:监测在工作场所是否存在吃喝、吸烟、打电话、趴桌子睡觉等行为,是否有按要求洗手。
特色优势
- 覆盖多种应用场景:支持识别举手、吃喝、吸烟、打电话、玩手机、睡觉、跌打、洗手、拍照等行为,涵盖驾驶、学习、泛安防等多种场景。
- 适应多种光照条件:适应在自然光、室内光照、夜晚红外模式等光照条件下的行为识别。
前提条件
输入限制
-
视频要求:
1. 时长大于2秒,小于5秒。如果输入视频时长大于5秒,系统仅返回前5秒的检测结果。
2. 视频大小应小于10M。
3. 分辨率大于256×256像素,小于等于1280×720像素。
4. 支持一些常见的视频格式,例如MPEG、AVI、MOV、MP4。说明 建议为居家摄像头或近距离监控场景。即摄像头固定不动,拍摄距离为2米~10米。 -
图像要求:
1. 帧数4帧,为2秒视频均匀抽帧的结果。
2. 分辨率大于256×256像素,小于等于1280×720像素。
3. 支持的格式为JPEG、PNG、BMP、JPG。
4. 可使用URL与Base64编码字符串混合输入。
- URL地址中不能包含中文字符。
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
请求参数
名称 | 类型 | 是否必选 | 示例值 | 描述 |
---|---|---|---|---|
Action | String | 是 | RecognizeAction |
要执行的操作。取值:RecognizeAction。 |
Type | Integer | 是 | 0 |
输入内容类型,包括视频和图像两种类型。
|
VideoUrl | String | 否 | http://zhongbao-app.oss-cn-shanghai.aliyuncs.com/20201797/151872261_1584522154910.mp4 |
Type为0时需要输入的视频URL地址。当前仅支持上海地域的OSS链接,如何生成URL请参见生成URL。 |
VideoData | String | 否 | iVBORw0KGgoAAAANSUhEUgAAAoAAAAHJCAIAAACaEB9NAAEAAElEQVR4nNT9Wb**** |
视频Base64编码字符串,与VideoURL共存时,VideoURL优先。 |
URLList.N.URL | String | 否 | https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00001.jpg,https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00003.jpg,https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00004.jpg,https://viapi-test.oss-cn-shanghai.aliyuncs.com/test-team/tiankong/00002.jpg |
Type为1时需要输入的图像URL地址,必须输入4张图像,且4张图像必须为两秒钟视频均匀采样的图像。当前仅支持上海地域的OSS链接,如何生成URL请参见生成URL。 |
URLList.N.imageData | String | 否 | /9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgQ**** |
图像Base64编码字符串,与URL共存时,URL优先。 |
返回数据
名称 | 类型 | 示例值 | 描述 |
---|---|---|---|
Data | Struct |
返回的结果数据内容。 |
|
Elements | Array of Element |
返回的结果元素列表。 |
|
Boxes | Array of Boxes |
具体动作的坐标框列表。 |
|
Box | List | [1119,576,1373,970] |
具体动作的坐标框信息。 |
Labels | List | 跌倒 |
识别到的行为类别。 |
Scores | List | 0.702967643737793 |
行为类别的置信度。取值范围0~1,值越大,识别到的动作越准确。系统根据算法,为不同的动作给出判断的阈值标准,您也可以根据自己的实际情况,对判断的阈值标准进行调整。
|
Timestamp | Integer | 3 |
当前行为在视频或者图像中发生的时间戳信息。 |
RequestId | String | E9C40AF5-A7F8-49D5-8A0C-B21F15A07F17 |
请求ID。 |
示例
请求示例
http(s)://[Endpoint]/?Action=RecognizeAction
&Type=0
&<公共请求参数>
正常返回示例
XML
格式
<RequestId>E9C40AF5-A7F8-49D5-8A0C-B21F15A07F17</RequestId>
<Data>
<Elements>
<Timestamp>1</Timestamp>
</Elements>
<Elements>
<Scores>0.702967643737793</Scores>
<Labels>跌倒</Labels>
<Timestamp>3</Timestamp>
<Boxes>
<Box>1119</Box>
<Box>576</Box>
<Box>1373</Box>
<Box>970</Box>
</Boxes>
</Elements>
<Elements>
<Scores>0.7334273457527161</Scores>
<Labels>跌倒</Labels>
<Timestamp>5</Timestamp>
<Boxes>
<Box>1128</Box>
<Box>613</Box>
<Box>1363</Box>
<Box>991</Box>
</Boxes>
</Elements>
</Data>
JSON
格式
{
"RequestId": "E9C40AF5-A7F8-49D5-8A0C-B21F15A07F17",
"Data": {
"Elements": [
{
"Timestamp": 1
},
{
"Scores": 0.702967643737793,
"Labels": "跌倒",
"Timestamp": 3,
"Boxes": {
"Box": [
1119,
576,
1373,
970
]
}
},
{
"Scores": 0.7334273457527161,
"Labels": "跌倒",
"Timestamp": 5,
"Boxes": {
"Box": [
1128,
613,
1363,
991
]
}
}
]
}
}
错误码
关于动作行为识别的错误码,详情请参见常见错误码。
SDK参考
阿里云视觉AI能力支持使用SDK调用,具体可参见SDK总览下载安装。
安全声明
- 请确保上传的图片或文件来源符合相应的法律法规。
- 通过体验调试上传的临时文件有效期为1小时,在24小时后会被系统自动清理删除。
在文档使用中是否遇到以下问题
更多建议
匿名提交