虚拟背景插件可以自动识别摄像头画面中主体人像,将画面中人像和背景进行分割,并使用用户选择的背景图作为虚拟背景替换掉原始画面中的背景,从而将用户放入一个虚拟的环境中,起到保护用户隐私和增加趣味性的作用。

主要功能

功能 描述
背景替换 支持用户使用本地自定义图片替换摄像头采集画面中背景图像,并支持对替换的背景图进行缩放和剪裁功能。
背景虚化 支持将摄像头采集画面中的背景进行虚化,可根据需求调节虚化强度。

效果展示

背景替换前后的效果如下所示:

适用场景

场景 描述
在线教学 通过将在线教学场景中教师背景替换为企业图标或趣味图片,可以满足对产品的运营推广和增加教学趣味性需求。
视频会议 通过将参会用户背景替换为其它背景或进行背景虚化,可以满足保护参会人员隐私需求。
直播 通过将手机直播场景中人物背景替换为趣味图片或进行背景虚化,可以满足对直播主体以外隐私的保护和增加直播趣味性需求。

资源占用

各端资源占用测试数据如下所示:

表 1. Windows端
CPU型号 操作系统 主频/内存 CPU涨幅 内存占用增幅 耗时 备注
Intel Core i7-8565U Win10 64bit 1.8 GHz/8 GB 10% 75 MB

人像静止:4ms

人像移动:22ms

x64版本
Intel Core i5-6200U Win10 64bit 2.3 GHz/8 GB 15% 75 MB

人像静止:4ms

人像移动:30ms

x64版本
Intel Core i5-4200U Win7 64bit 1.6 GHz/8 GB 30% 75 MB

人像静止:9ms

人像移动:70ms

x86版本
Intel Core i5-4200U Win7 64bit 1.6 GHz/8 GB 20% 75 MB

人像静止:5ms

人像移动:48ms

x64版本
表 2. Mac端
CPU型号 操作系统 主频/内存 CPU涨幅 内存占用增幅 耗时 备注
Intel Core i7 macOS Catalina 2.6 GHz/8 GB 25% 70 MB

人像静止:7ms

人像移动:30ms

x64版本
表 3. Android端(测试机型:荣耀X10,Android 10)
应用场景 内存 CPU FPS
开启前 开启后 增幅 开启前 开启后 增幅 开启前 开启后
AliRTC
说明 AliRTC场景限制FPS最高为15。
131 MB 202 MB +71 MB 6.2% 12.2% +6% 15 15
表 4. iOS端(测试机型:iPhone 7 Plus,iOS 14.0.1)
应用场景 内存 CPU FPS
开启前 开启后 增幅 开启前 开启后 增幅 开启前 开启后
AliRTC(iOS 11或以上版本)
说明 AliRTC场景限制FPS最高为15。
73 MB 103 MB +30 MB 6.3% 19.1% +12.8% 15 15
AliRTC(iOS版本小于11)
说明 AliRTC场景限制FPS最高为15。
66 MB 105 MB +39 MB 8.1% 33.8% +25.7% 15 11

支持的平台

平台 要求
Windows 系统版本:支持Windows 7、Windows 8.X、Windows 10。
Mac 系统版本:支持macOS 10.12及以上版本。
Android 系统版本:Android 5.0及以上版本(包含v7、v8架构机型)。
iOS 系统版本:支持iOS 9及以上版本。

已知问题说明

  • 该版本插件为纯CPU计算的版本,开启算法会占用一定的CPU资源。
  • 在该版本中,手持物不会被当作前景,后续版本会进行迭代优化。
  • 如果摄像头画面中有多人出现,会过滤掉离镜头较远的人。
  • Windows版本耗时大于Mac版本,但均能达到实时和流畅。