远程双录场景指的是异地线上展业,并对展业过程进行录音录像。远程双录质检功能为该类型的展业双录活动提供实时交互式检测。
检测原理
智能双录质检为移动端 App 提供了智能检测 SDK。通过 SDK,为终端 App 提供实时检测能力,即支持在联网条件下,对线上各方进行录音录像,并实现实时交互式检测。
在远程双录质检过程中,智能检测 SDK 根据质检流程,调用相应的检测模型,并根据模型返回的检测结果,提供实时交互式检测。质检流程在智能双录质检控制台中进行创建,远程双录质检流程创建过程请参见 基于通用保险质检流程创建流程 或 基于空白模板创建流程。
检测特点
远程双录质检功能具有如下特点:
多角色分离:支持如保险代理人、投保人等不同角色的人员进行远程展业。
有网即可展业:只要有网络即可远程展业。
针对角色的实时交互检测:按照展业角色对会议各端分别设置检测项目。
检测结果多端同步:各端检测结果实时同步,协同交互控制和流程驱动。
云端视频录制:云端录制各端视频和合流视频,无需本地录制和上传。
远程屏幕共享:支持更复杂的保险代理业务操作和协同。
检测能力
远程双录是将音视频通话能力与双录质检服务相结合,当对话的双方身处异地时,可以音视频通话过程进行实时的通讯,同时进行音频视频的录制,并且结合了实时质检的能力。其主要能力单元分为音视频通话、录制服务与本地智能检测能力。
音视频通话
远程双录 SDK 中的音视频通话能力由蚂蚁集团移动开发平台(mPaaS)团队提供,可实现一对一通话及多人会议。通话过程中支持屏幕录制、屏幕共享、截图等功能,同时支持即时文字消息和文件传输。关于音视频通话的更多信息请参见 产品简介。
录制服务
远程双录 SDK 检测能力中提供了音视频录制服务,可对远程音视频通话全程录音录像,包括音视频通话、截图、语音播报、交互式白板、屏幕共享、交易操作过程、文字聊天内容、签字画面等。对远程双录中的音视频通话进行录制和存储,是为了后续对业务办理流程进行回溯。
录制中支持设置主、备双录模式,满足高可用的要求,从而保障双录的稳定性。
检测能力
远程双录 SDK 中的检测能力如下:
人脸检测和信息采集
检测和采集视频中的所有人脸及人脸信息。
支持采集 4 张人脸信息。
从输入视频流到返回视频,SDK 的处理时间不超过 100ms,且检测耗时控制在 50ms 以内。
支持动态设置检测频率,比如每秒钟 5 次。
人脸匹配和追踪
检测视频中的人脸信息与预设的人脸信息是否匹配,并持续追踪该人脸。
支持检测和追踪四组预置人脸信息(人脸图像+角色名称)。
支持设置人脸匹配相识度。
支持在视频中把匹配到的人脸进行标记。
提示人脸上线消息。当第一次在视频中检测到预设的人脸图像信息时,返回人脸上线消息。
提示人脸离线消息。如果在指定的时间间隔内检测不到已标记的人脸,返回人脸离线消息。
支持动态设置检测频率,比如每秒钟 5 次。SDK 根据检测频率调用模型 SDK 进行检测并将结果返回给 App。
从输入视频流到返回视频,SDK 的处理时间不超过 100ms,且检测耗时控制在 50ms 以内。
特定词语识别
检测语音流中的特定激活词,并返回该激活词,检测耗时控制在 50ms 以内。
预置识别 6 个激活词。
支持扩展、修改和删除激活词。
活体检测
检测视频中的人脸是不是活体,以防用照片或视频等进行仿冒,检测耗时控制在 50ms 以内。
检测完成后,返回检测结果和结果置信度。
翻屏动作识别
检测视频中是否存在手机屏幕上滑动翻屏的动作,检测耗时控制在 50ms 以内。
签名动作识别
检测视频中是否存在手机或 iPad 中签字的动作,检测耗时控制在 50ms 以内。
使用流程
远程双录质检的使用流程:
在智能双录质检控制台中创建远程双录质检流程,创建过程请参见 基于通用保险质检流程创建流程 或 基于空白模板创建流程。
发布创建完成的流程,使流程可用。
下载 SDK,并将发布完成的流程 ID 写入 SDK。
企业或软件开发商基于 SDK 开发终端 App。
使用终端 App 进行远程双录。
在智能双录质检控制台中查看远程双录质检结果,更多信息请参见 查看结果。