主播端与观众端连麦互动操作流程_视频直播(LIVE)-阿里云帮助中心

本文介绍连麦互动的操作步骤和示例代码，助您快速接入。

方案介绍

使用实时音视频+CDN旁路直播的方式，实现超低延时、更多人数的直播实时互动。

主播和连麦观众通过ARTC SDK向RTC房间推流；
业务服务器监听推流事件并通过调用StartLiveMPUTask - 创建混流转推任务（新）接口将RTC房间内的流转推至直播CDN；
普通观众则使用播放器SDK从CDN拉流观看。

主播开播和连麦的基本流程如下：

连麦前

主播端：使用ARTC SDK加入RTC 房间，推送音视频实时流。

业务服务器：监听RTC房间内流变化事件，当主播推流后，调用StartLiveMPUTask - 创建混流转推任务（新）启动旁路转推任务Task1，传入直播CDN推流地址，将RTC房间内流转推到直播CDN上。

普通观众：使用播放器SDK传入直播CDN拉流地址，拉流播放。

连麦中

连麦观众：

停止阿里云播放器CDN拉流播放，销毁阿里云播放器实例。
使用ARTC SDK加入RTC 房间，推送音视频实时流。
拉取RTC房间内主播的实时音视频流，设置渲染视图，实时渲染。

主播：拉取RTC房间内连麦观众的实时音视频流，设置渲染视图，实时渲染。

业务服务器：监听RTC房间内流变化事件，当连麦观众推流后，更新旁路转推任务Task1，将模式从旁路切换成混流，传入主播和连麦观众的混流布局。

普通观众：不需要额外操作，直播画面自动从主播一个人画面切换成主播和连麦观众两个人画面。

结束连麦

连麦观众：

使用ARTC SDK离开RTC房间并销毁RTC实例。
使用阿里云播放器SDK传入CDN拉流地址，切换回CDN拉流播放。

主播: 停止拉取连麦观众的音视频流。

业务服务器：监听RTC房间内流变化事件，当连麦观众停止推流后，更新混流任务task1，将模式从混流切换成旁路。

普通观众：不需要额外操作，直播画面自动从主播和连麦观众两个人画面切换成主播一个人画面。

说明

监听RTC房间内流变化事件回调相关API可以参考CreateEventSub - 创建订阅房间消息回调。

启动旁路转推任务相关API可以参考：StartLiveMPUTask - 创建混流转推任务（新）。

实现步骤

步骤一主播开播

主播开播的基本流程：

1. 主播端向RTC房间推流

主播端使用ARTC SDK，向RTC房间推流。

Android

使用ARTC SDK 加入RTC房间及推流详细步骤可参考：实现步骤

// 导入ARTC相关类
import com.alivc.rtc.AliRtcEngine;
import com.alivc.rtc.AliRtcEngineEventListener;
import com.alivc.rtc.AliRtcEngineNotify;

private AliRtcEngine mAliRtcEngine = null;
if(mAliRtcEngine == null) {
    mAliRtcEngine = AliRtcEngine.getInstance(this);
}
// 设置频道模式
mAliRtcEngine.setChannelProfile(AliRtcEngine.AliRTCSdkChannelProfile.AliRTCSdkInteractiveLive);
mAliRtcEngine.setClientRole(AliRtcEngine.AliRTCSdkClientRole.AliRTCSdkInteractive);
mAliRtcEngine.setAudioProfile(AliRtcEngine.AliRtcAudioProfile.AliRtcEngineHighQualityMode, AliRtcEngine.AliRtcAudioScenario.AliRtcSceneMusicMode);

//设置视频编码参数
AliRtcEngine.AliRtcVideoEncoderConfiguration aliRtcVideoEncoderConfiguration = new AliRtcEngine.AliRtcVideoEncoderConfiguration();
aliRtcVideoEncoderConfiguration.dimensions = new AliRtcEngine.AliRtcVideoDimensions(
                720, 1280);
aliRtcVideoEncoderConfiguration.frameRate = 20;
aliRtcVideoEncoderConfiguration.bitrate = 1200;
aliRtcVideoEncoderConfiguration.keyFrameInterval = 2000;
aliRtcVideoEncoderConfiguration.orientationMode = AliRtcVideoEncoderOrientationModeAdaptive;
mAliRtcEngine.setVideoEncoderConfiguration(aliRtcVideoEncoderConfiguration);

mAliRtcEngine.publishLocalAudioStream(true);
mAliRtcEngine.publishLocalVideoStream(true);

mAliRtcEngine.setDefaultSubscribeAllRemoteAudioStreams(true);
mAliRtcEngine.subscribeAllRemoteAudioStreams(true);
mAliRtcEngine.setDefaultSubscribeAllRemoteVideoStreams(true);
mAliRtcEngine.subscribeAllRemoteVideoStreams(true);

//设置相关回调
private AliRtcEngineEventListener mRtcEngineEventListener = new AliRtcEngineEventListener() {
    @Override
    public void onJoinChannelResult(int result, String channel, String userId, int elapsed) {
        super.onJoinChannelResult(result, channel, userId, elapsed);
        handleJoinResult(result, channel, userId);
    }

    @Override
    public void onLeaveChannelResult(int result, AliRtcEngine.AliRtcStats stats){
        super.onLeaveChannelResult(result, stats);
    }

    @Override
    public void onConnectionStatusChange(AliRtcEngine.AliRtcConnectionStatus status, AliRtcEngine.AliRtcConnectionStatusChangeReason reason){
        super.onConnectionStatusChange(status, reason);

        handler.post(new Runnable() {
            @Override
            public void run() {
                if(status == AliRtcEngine.AliRtcConnectionStatus.AliRtcConnectionStatusFailed) {
                    /* TODO: 务必处理；建议业务提示客户，此时SDK内部已经尝试了各种恢复策略已经无法继续使用时才会上报 */
                    ToastHelper.showToast(VideoChatActivity.this, R.string.video_chat_connection_failed, Toast.LENGTH_SHORT);
                } else {
                    /* TODO: 可选处理；增加业务代码，一般用于数据统计、UI变化 */
                }
            }
        });
    }
    @Override
    public void OnLocalDeviceException(AliRtcEngine.AliRtcEngineLocalDeviceType deviceType, AliRtcEngine.AliRtcEngineLocalDeviceExceptionType exceptionType, String msg){
        super.OnLocalDeviceException(deviceType, exceptionType, msg);
        /* TODO: 务必处理；建议业务提示设备错误，此时SDK内部已经尝试了各种恢复策略已经无法继续使用时才会上报 */
        handler.post(new Runnable() {
            @Override
            public void run() {
                String str = "OnLocalDeviceException deviceType: " + deviceType + " exceptionType: " + exceptionType + " msg: " + msg;
                ToastHelper.showToast(VideoChatActivity.this, str, Toast.LENGTH_SHORT);
            }
        });
    }

};

private AliRtcEngineNotify mRtcEngineNotify = new AliRtcEngineNotify() {
    @Override
    public void onAuthInfoWillExpire() {
        super.onAuthInfoWillExpire();
        /* TODO: 务必处理；Token即将过期，需要业务触发重新获取当前channel，user的鉴权信息，然后设置refreshAuthInfo即可 */
    }

    @Override
    public void onRemoteUserOnLineNotify(String uid, int elapsed){
        super.onRemoteUserOnLineNotify(uid, elapsed);
    }

    //在onRemoteUserOffLineNotify回调中解除远端视频流渲染控件的设置
    @Override
    public void onRemoteUserOffLineNotify(String uid, AliRtcEngine.AliRtcUserOfflineReason reason){
        super.onRemoteUserOffLineNotify(uid, reason);
    }

    //在onRemoteTrackAvailableNotify回调中设置远端视频流渲染控件
    @Override
    public void onRemoteTrackAvailableNotify(String uid, AliRtcEngine.AliRtcAudioTrack audioTrack, AliRtcEngine.AliRtcVideoTrack videoTrack){
        handler.post(new Runnable() {
            @Override
            public void run() {
                if(videoTrack == AliRtcVideoTrackCamera) {
                    SurfaceView surfaceView = mAliRtcEngine.createRenderSurfaceView(VideoChatActivity.this);
                    surfaceView.setZOrderMediaOverlay(true);
                    FrameLayout view = getAvailableView();
                    if (view == null) {
                        return;
                    }
                    remoteViews.put(uid, view);
                    view.addView(surfaceView, new FrameLayout.LayoutParams(ViewGroup.LayoutParams.MATCH_PARENT, ViewGroup.LayoutParams.MATCH_PARENT));
                    AliRtcEngine.AliRtcVideoCanvas remoteVideoCanvas = new AliRtcEngine.AliRtcVideoCanvas();
                    remoteVideoCanvas.view = surfaceView;
                    mAliRtcEngine.setRemoteViewConfig(remoteVideoCanvas, uid, AliRtcVideoTrackCamera);
                } else if(videoTrack == AliRtcVideoTrackNo) {
                    if(remoteViews.containsKey(uid)) {
                        ViewGroup view = remoteViews.get(uid);
                        if(view != null) {
                            view.removeAllViews();
                            remoteViews.remove(uid);
                            mAliRtcEngine.setRemoteViewConfig(null, uid, AliRtcVideoTrackCamera);
                        }
                    }
                }
            }
        });
    }

    /* 业务可能会触发同一个UserID的不同设备抢占的情况，所以这个地方也需要处理 */
    @Override
    public void onBye(int code){
        handler.post(new Runnable() {
            @Override
            public void run() {
                String msg = "onBye code:" + code;
            }
        });
    }
};

mAliRtcEngine.setRtcEngineEventListener(mRtcEngineEventListener);
mAliRtcEngine.setRtcEngineNotify(mRtcEngineNotify);

//本地预览
mLocalVideoCanvas = new AliRtcEngine.AliRtcVideoCanvas();
SurfaceView localSurfaceView = mAliRtcEngine.createRenderSurfaceView(VideoChatActivity.this);
localSurfaceView.setZOrderOnTop(true);
localSurfaceView.setZOrderMediaOverlay(true);
FrameLayout fl_local = findViewById(R.id.fl_local);
fl_local.addView(localSurfaceView, layoutParams);
mLocalVideoCanvas.view = localSurfaceView;
mAliRtcEngine.setLocalViewConfig(mLocalVideoCanvas, AliRtcVideoTrackCamera);
mAliRtcEngine.startPreview();

//加入RTC房间
mAliRtcEngine.joinChannel(token, null, null, null);

iOS

使用ARTC SDK 加入RTC房间及推流详细步骤可参考：实现步骤

// 导入ARTC相关类
import AliVCSDK_ARTC

private var rtcEngine: AliRtcEngine? = nil
// 创建引擎并设置回调
let engine = AliRtcEngine.sharedInstance(self, extras:nil)
...
self.rtcEngine = engine
// 设置频道模式
engine.setChannelProfile(AliRtcChannelProfile.interactivelive)
engine.setClientRole(AliRtcClientRole.roleInteractive)
engine.setAudioProfile(AliRtcAudioProfile.engineHighQualityMode, audio_scene: AliRtcAudioScenario.sceneMusicMode)

//设置视频编码参数
let config = AliRtcVideoEncoderConfiguration()
config.dimensions = CGSize(width: 720, height: 1280)
config.frameRate = 20
config.bitrate = 1200
config.keyFrameInterval = 2000
config.orientationMode = AliRtcVideoEncoderOrientationMode.adaptive
engine.setVideoEncoderConfiguration(config)
engine.setCapturePipelineScaleMode(.post)

engine.publishLocalVideoStream(true)
engine.publishLocalAudioStream(true)

engine.setDefaultSubscribeAllRemoteAudioStreams(true)
engine.subscribeAllRemoteAudioStreams(true)
engine.setDefaultSubscribeAllRemoteVideoStreams(true)
engine.subscribeAllRemoteVideoStreams(true)

//设置相关回调
extension VideoCallMainVC: AliRtcEngineDelegate {

    func onJoinChannelResult(_ result: Int32, channel: String, elapsed: Int32) {
        "onJoinChannelResult1 result: \(result)".printLog()
    }

    func onJoinChannelResult(_ result: Int32, channel: String, userId: String, elapsed: Int32) {
        "onJoinChannelResult2 result: \(result)".printLog()
    }

    func onRemoteUser(onLineNotify uid: String, elapsed: Int32) {
        // 远端用户的上线
        "onRemoteUserOlineNotify uid: \(uid)".printLog()
    }

    func onRemoteUserOffLineNotify(_ uid: String, offlineReason reason: AliRtcUserOfflineReason) {
        // 远端用户的下线
        "onRemoteUserOffLineNotify uid: \(uid) reason: \(reason)".printLog()
    }


    func onRemoteTrackAvailableNotify(_ uid: String, audioTrack: AliRtcAudioTrack, videoTrack: AliRtcVideoTrack) {
        "onRemoteTrackAvailableNotify uid: \(uid) audioTrack: \(audioTrack)  videoTrack: \(videoTrack)".printLog()
    }

    func onAuthInfoWillExpire() {
        "onAuthInfoWillExpire".printLog()

        /* TODO: 务必处理；Token即将过期，需要业务触发重新获取当前channel，user的鉴权信息，然后设置refreshAuthInfo即可 */
    }

    func onAuthInfoExpired() {
        "onAuthInfoExpired".printLog()

        /* TODO: 务必处理；提示Token失效，并执行离会与释放引擎 */
    }

    func onBye(_ code: Int32) {
        "onBye code: \(code)".printLog()

        /* TODO: 务必处理；业务可能会触发同一个UserID的不同设备抢占的情况 */
    }

    func onLocalDeviceException(_ deviceType: AliRtcLocalDeviceType, exceptionType: AliRtcLocalDeviceExceptionType, message msg: String?) {
        "onLocalDeviceException deviceType: \(deviceType)  exceptionType: \(exceptionType)".printLog()

        /* TODO: 务必处理；建议业务提示设备错误，此时SDK内部已经尝试了各种恢复策略已经无法继续使用时才会上报 */
    }

    func onConnectionStatusChange(_ status: AliRtcConnectionStatus, reason: AliRtcConnectionStatusChangeReason) {
        "onConnectionStatusChange status: \(status)  reason: \(reason)".printLog()

        if status == .failed {
            /* TODO: 务必处理；建议业务提示用户，此时SDK内部已经尝试了各种恢复策略已经无法继续使用时才会上报 */
        }
        else {
            /* TODO: 可选处理；增加业务代码，一般用于数据统计、UI变化 */
        }
    }
}


//本地预览
let videoView = self.createVideoView(uid: self.userId)
let canvas = AliVideoCanvas()
canvas.view = videoView.canvasView
canvas.renderMode = .auto
canvas.mirrorMode = .onlyFrontCameraPreviewEnabled
canvas.rotationMode = ._0
self.rtcEngine?.setLocalViewConfig(canvas, for: AliRtcVideoTrack.camera)
self.rtcEngine?.startPreview()

//加入RTC房间
let ret = self.rtcEngine?.joinChannel(joinToken, channelId: nil, userId: nil, name: nil) { [weak self] errCode, channelId, userId, elapsed in
    if errCode == 0 {
        // success

    }
    else {
        // failed
    }
    
    let resultMsg = "\(msg) \n CallbackErrorCode: \(errCode)"
    resultMsg.printLog()
    UIAlertController.showAlertWithMainThread(msg: resultMsg, vc: self!)
}

let resultMsg = "\(msg) \n ReturnErrorCode: \(ret ?? 0)"
resultMsg.printLog()
if ret != 0 {
    UIAlertController.showAlertWithMainThread(msg: resultMsg, vc: self)
}

2. 客户业务服务发起转推任务，将RTC房间流转推到CDN

客户业务Server创建订阅RTC房间消息的回调，监听房间内主播推流事件，订阅RTC房间消息的回调详细接口参考：CreateEventSub - 创建订阅房间消息回调。
当收到RTC房间内主播推流后，调用旁路转推OpenAPI接口StartLiveMPUTask，将RTC房间内的流转推到CDN上，旁路转推接口详情参考：StartLiveMPUTask - 创建混流转推任务（新）。
说明
主播开播时可以将MixMode设置成0，表示单路转推不转码。接口需要传入直播推流地址，仅支持 RTMP协议，生成规则请参见生成推流地址和播放地址。
客户业务Server监听CDN推流回调，当流转推到CDN后，下发直播拉流地址，通知普通观众端播放。CDN 推流回调详情参考：回调设置。

3. 普通观众端使用阿里云播放器SDK拉流播放

当普通观众端接收到业务服务拉流通知后，创建阿里云播放器实例，使用直播拉流地址进行播放。详细的播放器接口及使用请参考：播放器SDK。

说明

建议将普通观众的CDN播放地址由RTMP格式改为HTTP-FLV格式。两者内容一致，但传输协议不同。HTTP作为互联网主流协议，具备更成熟的网络优化基础，且默认使用80/443端口，更易通过防火墙；而RTMP协议较旧，常用端口1935可能被限制，影响播放稳定性。综合来看，HTTP-FLV在通用性和播放体验（如卡顿、延迟）上优于RTMP，推荐优先使用。

Android

AliPlayer aliPlayer = AliPlayerFactory.createAliPlayer(context);
aliPlayer.setAutoPlay(true);

UrlSource urlSource = new UrlSource();
urlSource.setUri("http://test.alivecdn.com/live/streamId.flv?auth_key=XXX");  //普通观众（非连麦观众）的CDN播放地址
aliPlayer.setDataSource(urlSource);
aliPlayer.prepare();

iOS

self.cdnPlayer = [[AliPlayer alloc] init];
self.cdnPlayer.delegate = self;
self.cdnPlayer.autoPlay = YES;

AVPUrlSource *source = [[AVPUrlSource alloc] urlWithString:@""http://test.alivecdn.com/live/streamId.flv?auth_key=XXX"];
[self.cdnPlayer setUrlSource:source];
[self.cdnPlayer prepare];

步骤二观众连麦

主播和观众连麦的基本流程：

1.连麦观众端停止播放CDN流，推流到RTC房间

连麦观众端停止阿里云播放器CDN流播放，销毁播放器引擎。

Android

aliPlayer.stop();
aliPlayer = nul;

iOS

[self.cdnPlayer stop];
[self.cdnPlayer clearScreen];
self.cdnPlayer.playerView = nil;

连麦观众端向RTC房间推流：连麦观众端推流到RTC房间和上面的主播端向RTC房间推流调用流程一样，具体可参见向RTC房间推流。

连麦观众设置主播渲染画面。

Android

在初始化引擎的时候设置对应回调mAliRtcEngine.setRtcEngineNotify，需要在onRemoteTrackAvailableNotify回调中，为远端用户设置远端视图，示例代码如下：

@Override
public void onRemoteTrackAvailableNotify(String uid, AliRtcEngine.AliRtcAudioTrack audioTrack, AliRtcEngine.AliRtcVideoTrack videoTrack){
    handler.post(new Runnable() {
        @Override
        public void run() {
            if(videoTrack == AliRtcVideoTrackCamera) {
                SurfaceView surfaceView = mAliRtcEngine.createRenderSurfaceView(VideoChatActivity.this);
                surfaceView.setZOrderMediaOverlay(true);
                FrameLayout fl_remote = findViewById(R.id.fl_remote);
                if (fl_remote == null) {
                    return;
                }
                fl_remote.addView(surfaceView, new FrameLayout.LayoutParams(ViewGroup.LayoutParams.MATCH_PARENT, ViewGroup.LayoutParams.MATCH_PARENT));
                AliRtcEngine.AliRtcVideoCanvas remoteVideoCanvas = new AliRtcEngine.AliRtcVideoCanvas();
                remoteVideoCanvas.view = surfaceView;
                mAliRtcEngine.setRemoteViewConfig(remoteVideoCanvas, uid, AliRtcVideoTrackCamera);
            } else if(videoTrack == AliRtcVideoTrackNo) {
                FrameLayout fl_remote = findViewById(R.id.fl_remote);
                fl_remote.removeAllViews();
                mAliRtcEngine.setRemoteViewConfig(null, uid, AliRtcVideoTrackCamera);
            }
        }
    });
}

iOS

远端用户并进行推流或停止推流时，会触发onRemoteTrackAvailableNotify回调，在回调会设置或移除远端视图，示例代码如下：

func onRemoteTrackAvailableNotify(_ uid: String, audioTrack: AliRtcAudioTrack, videoTrack: AliRtcVideoTrack) {
    "onRemoteTrackAvailableNotify uid: \(uid) audioTrack: \(audioTrack)  videoTrack: \(videoTrack)".printLog()
    // 远端用户的流状态
    if audioTrack != .no {
        let videoView = self.videoViewList.first { $0.uidLabel.text == uid }
        if videoView == nil {
            _ = self.createVideoView(uid: uid)
        }
    }
    if videoTrack != .no {
        var videoView = self.videoViewList.first { $0.uidLabel.text == uid }
        if videoView == nil {
            videoView = self.createVideoView(uid: uid)
        }
        
        let canvas = AliVideoCanvas()
        canvas.view = videoView!.canvasView
        canvas.renderMode = .auto
        canvas.mirrorMode = .onlyFrontCameraPreviewEnabled
        canvas.rotationMode = ._0
        self.rtcEngine?.setRemoteViewConfig(canvas, uid: uid, for: AliRtcVideoTrack.camera)
    }
    else {
        self.rtcEngine?.setRemoteViewConfig(nil, uid: uid, for: AliRtcVideoTrack.camera)
    }
    
    if audioTrack == .no && videoTrack == .no {
        self.removeVideoView(uid: uid)
        self.rtcEngine?.setRemoteViewConfig(nil, uid: uid, for: AliRtcVideoTrack.camera)
    }
}

2.主播端设置连麦观众渲染画面

主播端渲染连麦观众画面和连麦观众端渲染主播端画面逻辑一致，可以参考上面的步骤。

3.业务服务更新旁路转推到混流转推

业务服务收到RTC房间内连麦观众推流后，调用UpdateLiveMPUTask - 更新混流转推任务（新）更新原先旁路转推的taskID, 将旁路更新成混流，MixMode设置成1，并设置主播和连麦观众的混流布局。

步骤三观众下麦

主播和观众结束连麦的基本流程：

1.连麦观众端停止RTC房间推流，切换到播放器拉CDN流

连麦观众退出RTC房间，销毁RTC引擎。

Android

mAliRtcEngine.stopPreview();
mAliRtcEngine.setLocalViewConfig(null, AliRtcVideoTrackCamera);
mAliRtcEngine.leaveChannel();
mAliRtcEngine.destroy();
mAliRtcEngine = null;

iOS

self.rtcEngine?.stopPreview()
self.rtcEngine?.leaveChannel()
AliRtcEngine.destroy()
self.rtcEngine = nil

创建播放器引擎，播放CDN流，步骤和上面普通观众端使用阿里云播放器SDK拉流播放一致。

2.主播端停止拉取连麦观众的音视频流

主播端停止播放连麦观众的音视频流，在onRemoteTrackAvailableNotify中移除远端视图。

3.业务服务更新混流转推到旁路转推

业务服务收到RTC房间内连麦观众退出消息回调后，调用UpdateLiveMPUTask - 更新混流转推任务（新）更新原先混流转推的taskID, 将混流更新成旁路，MixMode设置成0，CDN直播画面从主播和观众连麦画面切换成单主播画面。

方案介绍

实现步骤

步骤一 主播开播

1. 主播端向RTC房间推流

Android

iOS

2. 客户业务服务发起转推任务，将RTC房间流转推到CDN

3. 普通观众端使用阿里云播放器SDK拉流播放

Android

iOS

步骤二 观众连麦

1.连麦观众端停止播放CDN流，推流到RTC房间

Android

iOS

Android

iOS

2.主播端设置连麦观众渲染画面

3.业务服务更新旁路转推到混流转推

步骤三 观众下麦

1.连麦观众端停止RTC房间推流，切换到播放器拉CDN流

Android

iOS

2.主播端停止拉取连麦观众的音视频流

3.业务服务更新混流转推到旁路转推

步骤一主播开播

步骤二观众连麦

步骤三观众下麦