自定义视频渲染

1.通过extra字段开启外部渲染

通过extra字段开启外部视频播放功能，开启该功能之后，RTC会启用虚拟render来渲染。

NSString *extras = @"{\"user_specified_use_external_video_render\":\"TRUE\"}";

/* 如果需要回调 cvPixelBuffer 需要增加这个选项*/
NSString * extras = @"{\"user_specified_use_external_video_render\":\"TRUE\",\"user_specified_native_buffer_observer\":"TRUE"}";


_engine = [AliRtcEngine sharedInstance:nil extras:extras];

2.设置回调

cvPixelBuffer/I420：
[_engine registerVideoSampleObserver];

textureID:
[_engine registerLocalVideoTexture];

3.处理回调

I420/cvPixelBuffer

/*
* 在AliRtcEngine::registerVideoSampleObserver之后触发
*/

- (AliRtcVideoFormat)onGetVideoFormatPreference {
    return AliRtcVideoFormat_I420;
}

/**
 * @brief 订阅的本地采集视频数据回调
 * @param videoSource 视频流类型
 * @param videoSample 视频裸数据
 * @return
 * - YES: 需要写回SDK（只对I420和CVPixelBuffer(ios/mac)有效）
 * - NO: 不需要写回SDK
*/

- (BOOL)onCaptureVideoSample:(AliRtcVideoSource)videoSource videoSample:(AliRtcVideoDataSample *_Nonnull)videoSample {
  /*
   * do....
   */
   return FALSE ;
}

textureID

• openGL context创建后回调

  /**
   * @brief OpenGL上下文创建回调
   * @param context OpenGL上下文
   * @note 该回调是在SDK内部OpenGL上下文创建的时候触发
   */
  - (void)onTextureCreate:(void *_Nullable)context {
      [[renderEngine_ shared] create:context];
  }

• openGL 纹理变更回调

  /**
   * @brief OpenGL纹理更新回调
   * @param textureId OpenGL纹理ID
   * @param width OpenGL纹理宽
   * @param height OpenGL纹理高
   * @param videoSample 视频帧数据，详见 {@link AliRtcVideoDataSample}
   * @return OpenGL纹理ID
   * @note
   * - 该回调会在每一帧视频数据上传到OpenGL纹理之后触发，当外部注册了OpenGL纹理数据观测器，在该回调中可以对纹理进行处理，并返回处理后的纹理ID
   * - 注意该回调返回值必须为有效的纹理ID，如果不做任何处理必须返回参数textureId
   * 回调的TextureID是 AliRtcVideoFormat_Texture2D 格式
   */
  - (int)onTextureUpdate:(int)textureId width:(int)width height:(int)height videoSample:(AliRtcVideoDataSample *_Nonnull)videoSample {
      
      if ( [[renderEngine_ shared] enabled] == NO) {
          return textureId;
      }
      
      int texId = [[renderEngine_ shared] processTextureToTexture:textureId Width:width Height:height];
      
      if(texId<0) {
         texId = textureId;
      }
      return texId;
  }

• openGL 上下文删除回调

  - (void)onTextureDestory
  {
      if (self.settingModel.chnnelType == ChannelTypePrimary) {
          [[renderEngine_ shared] destroy];
      }
      
  }

4.退出

/* I420/cvPixelBuffer */
unregisterVideoSampleObserver

/* textureID */
unregisterLocalVideoTexture

1.通过extra字段开启外部渲染

通过extra字段开启外部视频播放功能，开启该功能之后，RTC会启用虚拟render来渲染。

String extras = "{\"user_specified_use_external_video_render\":\"TRUE\"}";

/* 
   如果需要回调 textureID 需要增加这个选项，
   同时建议开启纹理硬件编码
   */
String extras = "{\"user_specified_use_external_video_render\":\"TRUE\",\"user_specified_camera_texture_capture\":"TRUE",\"user_specified_texture_encode\":"TRUE" }";

_engine = AliRtcEngine.getInstance(getApplicationContext(), extras);

2.设置回调

cvPixelBuffer/I420：
_engine.registerVideoSampleObserver();


textureID:
_engine.registerLocalVideoTextureObserver();

3.处理回调

/**
 * @brief 订阅的本地采集视频数据回调
 * @param videoSource 视频流类型
 * @param videoSample 视频裸数据
 * @return
 * - YES: 需要写回SDK（只对I420和CVPixelBuffer(ios/mac)有效）
 * - NO: 不需要写回SDK
*/
public int onGetVideoAlignment(){
  return AliRtcVideoObserAlignment.AliRtcAlignmentDefault.getValue();
}

@Override
public boolean onLocalVideoSample(AliRtcEngine.AliRtcVideoSourceType sourceType, AliRtcEngine.AliRtcVideoSample videoSample) {
  boolean ret = false;
  /*
  * 处理本地采集的视频数据进行渲染
  */
  local_renderEngine.draw(videoSample);
    
  return ret;
}

@Override
public boolean onRemoteVideoSample(String userId, AliRtcEngine.AliRtcVideoSourceType sourceType, AliRtcEngine.AliRtcVideoSample videoSample) {
  /*
  * 处理远端数据进行渲染
  */
  remote_renderEngine.draw(userId, videoSample);
  
  return false;
}

/* I420/cvPixelBuffer */
_engine.unregisterVideoSampleObserver();

/* textureID */
_engine.unRegisterLocalVideoTextureObserver();