文档

功能概览

更新时间:

针对保险、银行等金融领域的双录(录音、录像)场景合规性要求,智能双录质检利用 AI 技术实现对销售过程中各类关键动作、语音、证件的检测,以及关键角色的面部追踪,实现对销售过程的智能化监控。其中,智能双录质检提供的终端检测能力,可以让绝大部分销售合规检测在现场完成,实时发现问题、实时提示、实时纠正,极大地提升了销售的友好度和一次性通过率。

智能双录质检将 AI 检测能力封装成 SDK ,并将 SDK 提供给企业或开发者,并由企业或开发者根据业务具体需求开发终端 App,并使之实现双录质检业务。

业务流程

终端 App 中集成了双录 SDK 后,与双录云端服务的业务调用流程如下: 123

本地双录质检

针对线下面对面展业的双录场景,本地双录质检功能为该类型的展业双录活动提供现场交互式检测。

本地双录 SDK 功能

本地双录 SDK 在录制视频流时,根据预设的检测规则,调用相应的检测模型,并根据检测模型返回的结果,统一对视频进行处理;并将处理后的视频及检测结果返回给双录 App。

本地双录质检特点

本地双录质检功能具有如下特点:

  • 多角色同框面部检测和跟踪:对现场多角色进行实时面部识别、检测和跟踪。

  • 视频检测防欺诈:识别视频中的欺诈行为。

  • 图片信息识别:识别身份证号码、姓名、有效期等信息。

  • 用户回答检测:离线识别用户的回答内容。

  • 离线 AI 能力:支持在离线无网状态下对本地双录进行交互式检测,扩展展业场景。

本地双录 SDK 检测能力

本地双录 SDK 提供如下检测能力:

  • 人脸检测和信息采集

    检测和采集视频中的所有人脸及人脸信息。

    • 支持 4 张人脸信息采集。

    • 从输入视频流到返回视频,SDK 的处理时间不超过 100ms,且检测耗时控制在 50ms 以内。

    • 支持动态设置检测频率,比如每秒钟 5 次。

  • 人脸匹配和追踪

    检测视频中的人脸信息与预设的人脸信息是否匹配,并持续追踪该人脸。

    • 支持检测和追踪四组预置人脸(人脸图像+角色名称)信息。

    • 支持设置人脸匹配相识度。

    • 支持在视频中把匹配到的人脸进行标记。

    • 提示人脸上线消息。当第一次在视频中检测到预设的人脸图像信息时,返回人脸上线消息。

    • 提示人脸离线消息。如果在指定的时间间隔内检测不到已标记的人脸,返回人脸离线消息。

    • 支持动态设置检测频率,比如每秒钟 5 次。SDK 根据检测频率调用模型 SDK 进行检测并将结果返回给 App

    • 从输入视频流到返回视频,SDK 的处理时间不超过 100ms,且检测耗时控制在 50ms 以内。

  • 特定词语识别

    检测语音流中的特定激活词,并返回该激活词,检测耗时控制在 50ms 以内。

    • 预置识别 6 个激活词。

    • 支持扩展、修改和删除激活词。

  • 活体检测

    检测视频中的人脸是不是活体,以防用照片或视频等进行仿冒,检测耗时控制在 50ms 以内。

    检测完成后,返回检测结果和结果置信度。

  • 翻屏动作识别

    检测视频中是否存在手机屏幕上滑动翻屏的动作,检测耗时控制在 50ms 以内。

  • 签名动作识别

    检测视频中是否存在手机或 iPad 中签字的动作,检测耗时控制在 50ms 以内。

远程双录质检

针对异地线上展业的双录场景,远程双录质检功能为该类型的展业双录活动提供实时交互式检测,帮助用户以远程视频的方式进行展业活动。

远程双录质检特点

远程双录质检功能具有如下特点:

  • 多角色分离:支持如保险代理人、投保人等不同角色的人员进行远程展业。

  • 有网即可展业:只要有网络即可远程展业。

  • 针对角色的实时交互检测:按照展业角色对会议各端分别设置检测项目。

  • 检测结果多端同步:各端检测结果实时同步,协同交互控制和流程驱动。

  • 云端视频录制:云端录制各端视频和合流视频,无需本地录制和上传。

  • 远程屏幕共享:支持更复杂的保险代理业务操作和协同。

远程双录 SDK 能力

远程双录是将音视频通话能力与双录质检服务相结合,当对话的双方身处异地时,不但可以在音视频通话过程中进行实时的通讯,还能同时进行音频视频的录制,并且结合了实时质检的能力。其主要能力单元分为音视频通话、录制服务与本地智能检测能力。

  • 音视频通话

    远程双录 SDK 中的音视频通话能力由蚂蚁集团移动开发平台(mPaaS)团队提供,可实现一对一通话及多人会议。通话过程中支持屏幕录制、屏幕共享、截图等功能,同时支持即时文字消息和文件传输。关于音视频通话的更多信息请参见 产品简介

  • 录制服务

    远程双录 SDK 检测能力中提供了音视频录制服务,可对远程音视频通话全程录音录像,包括音视频通话、截图、语音播报、交互式白板、屏幕共享、交易操作过程、文字聊天内容、签字画面等。对远程双录中的音视频通话进行录制和存储,是为了后续对业务办理流程进行回溯。

    录制中支持设置主、备双录模式,满足高可用的要求,从而保障双录的稳定性。

  • 检测能力

    远程双录 SDK 中的检测能力与本地双录中的检测能力一致,详细信息请参见 本地双录 SDK 检测能力

云端双录质检

针对销售事后审核的场景,智能双录质检在云端中提供了云端视频检测服务,即将录制好的视频,批量上传到云端,由智能双录质检在云端批量完成视频检测。云端双录质检还支持以 API 的形式,对外提供服务。

云端双录质检特点

云端双录质检功能具有如下特点:

  • 多角色同框面部检测和跟踪:对现场多角色进行实时面部识别、检测和跟踪。

  • 视频检测防欺诈:识别视频中的欺诈行为。

  • 离线 AI 能力:支持对离线无网状态下录制的视频进行检测。

云端双录检测能力

  • 人脸检测和信息采集

    检测和采集视频中的所有人脸及人脸信息。

    • 支持 4 张人脸信息采集。

    • 从输入视频流到返回视频,SDK 的处理时间不超过 100ms,且检测耗时控制在 50ms 以内。

    • 支持动态设置检测频率,比如每秒钟 5 次。

  • 人脸匹配和追踪

    检测视频中的人脸信息与预设的人脸信息是否匹配,并持续追踪该人脸。

    • 支持检测和追踪四组预置人脸(人脸图像+角色名称)信息。

    • 支持设定检测频率。

    • 支持返回人脸上线和人脸离线的消息。

    • 支持通过检测项动态设置判断人脸离线的时间间隔。

    • 支持通过检测项动态设置人脸追踪的检测频率,比如每秒 2 次。

  • 活体检测

    检测视频中的人脸是不是活体,以防用照片或视频等进行仿冒,检测耗时控制在 50ms 以内。

    检测完成后,返回检测结果和结果置信度。