虚拟直播场景化解决方案

引用 SDK

虚拟摄像头 Java SDK 是一个已经打包好的 AAR 库，直接将其作为Implementation引用至安卓应用项目中即可调用虚拟摄像头。

导入 Javadoc（可选）

若需要在兼容的 IDE（如 Android Studio）中获取文档提示，可以导入随 SDK 提供的Javadoc包。对于 Android Studio，具体操作为：External Libraries -> libvhal_sdk-release.aar -> Library Properties -> Add Javadoc attachments，选择解压好的Javadoc即可。

视频流

1. 步骤一：构建摄像头 VideoSink

   在产生和运送虚拟摄像头所消耗的视频内容前，需要首先构建VideoSink以创建至虚拟摄像头 HAL 的连接。可以使用InstanceManager获取VideoSink实例。

   在应用生命周期内，任何时间只能同时有一个存活的VideoSink实例。每次调用NewVideoSink方法均会导致旧有的实例遭到释放，并被替换为新创建的实例，因此需要格外注意，避免引用已经遭到释放的VideoSink实例。

   示例代码如下：

   VideoSink videoSink = InstanceManager.getInstance().NewVideoSink("/conn", new IMediaCallback() {
       @Override
       public void onOpen() { }
       @Override
       public void onClose() { }
       @Override
       public void onServerUp() { }
       @Override
       public void onNone() { }
   });

2. 步骤二：根据需要获取和设置摄像头能力

   虚拟摄像头当前支持四种分辨率的视频：480p、720p、1080p、1080p_t1，支持四种格式的编码：H264、H265、I420、AV1。为确保虚拟摄像头 HAL 理解传入的数据包格式，需要在首次运送数据包前调用VideoSink::SetCameraCapability通告即将传入的数据包分辨率与格式。

   示例代码如下：

   CameraInfo[] cameraInfos = new CameraInfo[2];
   CameraInfo cameraInfo = new CameraInfo();
   cameraInfo.cameraId = 0;
   cameraInfo.codecType = VideoCodecType.kI420;
   cameraInfo.facing = CameraFacing.BACK_FACING;
   cameraInfo.resolution = FrameResolution.k720p;
   cameraInfo.sensorOrientation = SensorOrientation.ORIENTATION_90;
   cameraInfos[0] = cameraInfo;
   cameraInfo = new CameraInfo();
   cameraInfo.cameraId = 1;
   cameraInfo.codecType = VideoCodecType.kI420;
   cameraInfo.facing = CameraFacing.FRONT_FACING;
   cameraInfo.resolution = FrameResolution.k720p;
   cameraInfo.sensorOrientation = SensorOrientation.ORIENTATION_270;
   cameraInfos[1] = cameraInfo;
   videoSink.SetCameraCapability(cameraInfos);

   以上代码定义了两个虚拟摄像头。其中虚拟的后置摄像头支持 720p 分辨率，传入数据格式为 I420，传感器方向顺时针旋转 90 度。虚拟的前置摄像头支持 720p 分辨率，传入数据格式为 I420，传感器方向顺时针旋转 270 度。

   如果不确定当前版本虚拟摄像头 HAL 支持哪些能力，可以调用VideoSink::GetCameraCapability来获取其支持的能力。

3. 步骤三：生产和运送视频数据

   1. 自行控制帧传输速率

      如果决定自行控制帧传输速率，则直接向VideoSink运送 packet 即可。其中，packet 的数据格式为步骤二中设定的数据格式。具体调用方式如下所示。

      // VideoSink::SendDataPacket 方法有多个重载，根据需要选择合适的重载使用即可。
      videoSink.SendDataPacket(bufferToSend);

      重要

      如果采用该方法运送数据，则调用者需要确保运送数据的频率与视频帧率相吻合，否则将导致视频异常地加快或变慢。

   2. 使用预设的 Consumer（仅 I420）

      如果需要运送的数据格式为 I420，且调用方难以自行控制数据运送频率，则可以使用预设的 VideoStreamConsumer 来运送数据。将视频流、视频宽高与帧率属性传入其构造函数后，即可调用BeginConsuming来流式传输数据。

音频流

1. 步骤一：构建麦克风 AudioSink

   与视频流类似，向虚拟麦克风 HAL 运送音频数据之前，需要构建AudioSink实例以创建到麦克风 HAL 的连接。并使用InstanceManager来获取AudioSink实例。

   AudioSink audioSink = InstanceManager.getInstance().NewAudioSink("127.0.0.1", new IMediaCallback() {
       @Override
       public void onOpen() { }
       @Override
       public void onClose() { }
       @Override
       public void onServerUp() { }
       @Override
       public void onNone() { }
   });

2. 步骤二：生产和运送音频数据

   1. 自行控制传输速率

      由于虚拟麦克风仅支持 48kHz、16位采样深度的双声道音频，因此无需像虚拟摄像头一样设置能力。AudioSink构建完成后，即可立即用于音频数据运送。示例如下。

      audioSink.SendDataPacket(audioBuffer);

      重要

      如果采用该方法运送数据，则一个数据包应当包含 10ms 的音频数据（1920字节），且每秒应当均匀地传送 100 个数据包。不均匀或过慢的速率将导致音频卡顿。

   2. 使用预设的 Consumer

      与视频数据类似，如果难以自行控制音频数据传输速率，则可以使用预定义的AudioStreamConsumer来运送数据。将音频属性传入其构造函数后，调用BeginConsuming来流式传输数据。