iOS实现音视频通话

步骤三：创建用户界面

根据实时音视频互动场景需要，创建相应的用户界面。我们提供了一个以视频多人通话场景为例，创建一个ScrollView视图。后续在有人加入通话时，在该容器上添加通话视图；有人离开通话时，从该容器上移除通话视图，同时刷新布局。

class VideoCallMainVC: UIViewController {

    override func viewDidLoad() {
        super.viewDidLoad()

        // Do any additional setup after loading the view.
        self.title = self.channelId
        
        self.setup()
        self.startPreview()
        self.joinChannel()
    }
    
    override func viewDidDisappear(_ animated: Bool) {
        super.viewDidDisappear(animated)
        
        self.leaveAnddestroyEngine()
    }
    
    @IBOutlet weak var contentScrollView: UIScrollView!
    var videoViewList: [VideoView] = []

    // 创建一个视频通话渲染视图，并加入到contentScrollView中
    func createVideoView(uid: String) -> VideoView {
        let view = VideoView(frame: CGRect(x: 0, y: 0, width: 100, height: 100))
        view.uidLabel.text = uid
        
        self.contentScrollView.addSubview(view)
        self.videoViewList.append(view)
        self.updateVideoViewsLayout()
        return view
    }

    // 从contentScrollView移除一个视频通话渲染视图
    func removeVideoView(uid: String) {
        let videoView = self.videoViewList.first { $0.uidLabel.text == uid }
        if let videoView = videoView {
            videoView.removeFromSuperview()
            self.videoViewList.removeAll(where: { $0 == videoView})
            self.updateVideoViewsLayout()
        }
    }
    // 刷新contentScrollView的子视图布局
    func updateVideoViewsLayout() {
        let margin = 24.0
        let width = (self.contentScrollView.bounds.width - margin * 3.0) / 2.0
        let height = width // width * 16.0 / 9.0
        let count = 2
        for i in 0..<self.videoViewList.count {
            let view = self.videoViewList[i]
            let x = Double(i % count) * (width + margin) + margin
            let y = Double(i / count) * (height + margin) + margin
            view.frame = CGRect(x: x, y: y, width: width, height: height)
        }
        self.contentScrollView.contentSize = CGSize(width: self.contentScrollView.bounds.width, height: margin + Double(self.videoViewList.count / count + 1) * height + margin)
    }
}

本节介绍如何使用阿里云 ARTC SDK 快速实现一个基础的实时音视频互动应用。你可以先将完整示例代码复制到项目，快速体验功能，再通过以下步骤了解核心 API 的调用。

下图展示了实现音视频互动的基本流程：

1、申请权限请求

进入音视频通话时，虽然SDK会检查是否已在App中授予了所需要的权限，当为保障体验，建议在发起通话前检查视频拍摄及麦克风采集的权限。

func checkMicrophonePermission(completion: @escaping (Bool) -> Void) {
    let status = AVCaptureDevice.authorizationStatus(for: .audio)
    
    switch status {
    case .notDetermined:
        AVCaptureDevice.requestAccess(for: .audio) { granted in
            completion(granted)
        }
    case .authorized:
        completion(true)
    default:
        completion(false)
    }
}

func checkCameraPermission(completion: @escaping (Bool) -> Void) {
    let status = AVCaptureDevice.authorizationStatus(for: .video)
    
    switch status {
    case .notDetermined:
        AVCaptureDevice.requestAccess(for: .video) { granted in
            completion(granted)
        }
    case .authorized:
        completion(true)
    default:
        completion(false)
    }
}

// 使用示例
checkMicrophonePermission { granted in
    if granted {
        print("用户已授权麦克风")
    } else {
        print("用户未授权麦克风")
    }
}

checkCameraPermission { granted in
    if granted {
        print("用户已授权摄像头")
    } else {
        print("用户未授权摄像头")
    }
}

2、鉴权Token

加入ARTC频道需要一个鉴权Token，用于鉴权用户的合法身份，其鉴权Token生成规则参见：Token鉴权。Token 生成有两种方式：单参数方式和多参数方式，不同的Token生成方式需要调用SDK不同的加入频道(joinChannel)的接口。

上线发布阶段：

由于Token的生成需要使用AppKey，写死在客户端存在泄漏的风险，因此强烈建议线上业务通过业务Server生成下发给客户端。

开发调试阶段：

开发调试阶段，如果业务Server还没有生成Token的逻辑，可以暂时参考APIExample上的Token生成逻辑，生成临时Token，其参考代码如下：

class ARTCTokenHelper: NSObject {

    /**
    * RTC AppId
    */
    public static let AppId = "<RTC AppId>"

    /**
    * RTC AppKey
    */
    public static let AppKey = "<RTC AppKey>"

    /**
    * 根据channelId，userId, timestamp 生成多参数入会的 token
    * Generate a multi-parameter meeting token based on channelId, userId, and timestamp
    */
    public func generateAuthInfoToken(appId: String = ARTCTokenHelper.AppId, appKey: String =  ARTCTokenHelper.AppKey, channelId: String, userId: String, timestamp: Int64) -> String {
        let stringBuilder = appId + appKey + channelId + userId + "\(timestamp)"
        let token = ARTCTokenHelper.GetSHA256(stringBuilder)
        return token
    }

    /**
    * 根据channelId，userId, nonce 生成单参数入会 的token
    * Generate a single-parameter meeting token based on channelId, userId, and nonce
    */
    public func generateJoinToken(appId: String = ARTCTokenHelper.AppId, appKey: String =  ARTCTokenHelper.AppKey, channelId: String, userId: String, timestamp: Int64, nonce: String = "") -> String {
        let token = self.generateAuthInfoToken(appId: appId, appKey: appKey, channelId: channelId, userId: userId, timestamp: timestamp)

        let tokenJson: [String: Any] = [
            "appid": appId,
            "channelid": channelId,
            "userid": userId,
            "nonce": nonce,
            "timestamp": timestamp,
            "token": token
        ]

        if let jsonData = try? JSONSerialization.data(withJSONObject: tokenJson, options: []),
        let base64Token = jsonData.base64EncodedString() as String? {
            return base64Token
        }

        return ""
    }

    /**
    * 字符串签名
    * String signing (SHA256)
    */
    private static func GetSHA256(_ input: String) -> String {
        // 将输入字符串转换为数据
        let data = Data(input.utf8)

        // 创建用于存储哈希结果的缓冲区
        var hash = [UInt8](repeating: 0, count: Int(CC_SHA256_DIGEST_LENGTH))

        // 计算 SHA-256 哈希值
        data.withUnsafeBytes {
            _ = CC_SHA256($0.baseAddress, CC_LONG(data.count), &hash)
        }

        // 将哈希值转换为十六进制字符串
        return hash.map { String(format: "%02hhx", $0) }.joined()
    }

}

3、导入ARTC SDK

// 导入ARTC模块
import AliVCSDK_ARTC

4、创建并初始化引擎

• 创建RTC引擎

  调用getInstance[1/2]接口创建引擎AliRTCEngine

  private var rtcEngine: AliRtcEngine? = nil
  
  // 创建引擎并设置回调
  let engine = AliRtcEngine.sharedInstance(self, extras:nil)
  ...
  self.rtcEngine = engine

• 初始化引擎

  • 调用setChannelProfile设置频道为AliRTCInteractiveLive（互动模式）。

    根据具体的业务需求，可以选择适用于互动娱乐场景的互动模式，或者适合一对一或一对多广播的通信模式。正确的模式选择能够确保用户体验的流畅性并有效利用网络资源。您可以根据业务场景选择合适的模式。

    模式	推流	拉流	模式介绍
    互动模式	有角色限制，只有被赋予主播身份的用户可以进行推流操作。 在整个过程中，参与者可以灵活地切换角色。	无角色限制，所有参与者都拥有拉流的权限。	在互动模式中，主播加入或退出会议、以及开始推送直播流的事件都会实时通知给观众端，确保观众能够及时了解主播的动态。反之，观众的任何活动不会通告给主播，保持了主播的直播流程不受干扰。 在互动模式下，主播角色负责进行直播互动，而观众角色则主要接收内容，通常不参与直播的互动过程。若业务需求未来可能发生变化，导致不确定是否需要支持观众的互动参与，建议默认采用互动模式。这种模式具有较高的灵活性，可通过调整用户角色权限来适应不同的互动需求。
    通信模式	无角色限制，所有参与者都拥有推流权限。	无角色限制，所有参与者都拥有拉流的权限。	在通信模式下，会议参与者能够相互察觉到彼此的存在。 该模式虽然没有区分用户角色，但实际上与互动模式中的主播角色相对应；目的是为了简化操作，让用户能够通过调用更少的API来实现所需的功能。

  • 调用setClientRole设置用户角色为AliRTCSdkInteractive（主播）或者AliRTCSdkLive（观众）。注意：主播角色默认推拉流，观众角色默认关闭预览和推流，只拉流。

    注意：当用户从主播角色转换到观众角色时（通常被称作“下麦”），系统将停止推送本地的音视频流，已经订阅的音视频流不受影响；当用户从观众播角色转换到主播角色时（通常被称作“上麦”），系统将会推送本地的音视频流，已经订阅的音视频流不受影响。

    // 设置频道模式为互动模式,RTC下都使用AliRtcInteractivelive
    engine.setChannelProfile(AliRtcChannelProfile.interactivelive)
    // 设置用户角色，既需要推流也需要拉流使用AliRtcClientRoleInteractive， 只拉流不推流使用AliRtcClientRolelive
    engine.setClientRole(AliRtcClientRole.roleInteractive)

• 实现常用的回调

  SDK 在运行过程中如遇到异常情况，会优先尝试内部重试机制以自动恢复。对于无法自行解决的错误，SDK 会通过预定义的回调接口通知您的应用程序。

  以下是一些 SDK 无法处理、需由应用层监听和响应的关键回调：

  异常发生原因	回调及参数	解决方案	说明
  鉴权失败	onJoinChannelResult回调中的result返回AliRtcErrJoinBadToken	发生错误时App需要检查Token是否正确。	在用户主动调用API时，若鉴权失败，系统将在调用API的回调中返回鉴权失败的错误信息。
  鉴权将要过期	onAuthInfoWillExpire	发生该异常时App需要重新获取最新的鉴权信息后，再调用refreshAuthInfo刷新鉴权信息。	鉴权过期错误在两种情况下出现：用户调用API或程序执行期间。因此，错误反馈将通过API回调或通过独立的错误回调通知。
  鉴权过期	onAuthInfoExpired	发生该异常时App需要重新入会。	鉴权过期错误在两种情况下出现：用户调用API或程序执行期间。因此，错误反馈将通过API回调或通过独立的错误回调通知。
  网络连接异常	onConnectionStatusChange回调返回AliRtcConnectionStatusFailed。	发生该异常时APP需要重新入会。	SDK具备一定时间断网自动恢复能力，但若断线时间超出预设阈值，会触发超时并断开连接。此时，App应检查网络状态并指导用户重新加入会议。
  被踢下线	onBye	AliRtcOnByeUserReplaced：当发生该异常时排查用户userid是否相同。 AliRtcOnByeBeKickedOut：当发生该异常时，表示被业务踢下线，需要重新入会。 AliRtcOnByeChannelTerminated：当发生该异常时，表示房间被销毁，需要重新入会。	RTC服务提供了管理员可以主动移除参与者的功能。
  本地设备异常	onLocalDeviceException	发生该异常时App需要检测权限、设备硬件是否正常。	RTC服务支持设备检测和异常诊断的能力；当本地设备发生异常时，RTC服务会通过回调的方式通知客户本地设备异常，此时，若SDK无法自行解决问题，则App需要介入以查看设备是否正常。

  extension VideoCallMainVC: AliRtcEngineDelegate {
  
      func onJoinChannelResult(_ result: Int32, channel: String, elapsed: Int32) {
          "onJoinChannelResult1 result: \(result)".printLog()
      }
  
      func onJoinChannelResult(_ result: Int32, channel: String, userId: String, elapsed: Int32) {
          "onJoinChannelResult2 result: \(result)".printLog()
      }
  
      func onRemoteUser(onLineNotify uid: String, elapsed: Int32) {
          // 远端用户的上线
          "onRemoteUserOlineNotify uid: \(uid)".printLog()
      }
  
      func onRemoteUserOffLineNotify(_ uid: String, offlineReason reason: AliRtcUserOfflineReason) {
          // 远端用户的下线
          "onRemoteUserOffLineNotify uid: \(uid) reason: \(reason)".printLog()
      }
  
  
      func onRemoteTrackAvailableNotify(_ uid: String, audioTrack: AliRtcAudioTrack, videoTrack: AliRtcVideoTrack) {
          "onRemoteTrackAvailableNotify uid: \(uid) audioTrack: \(audioTrack)  videoTrack: \(videoTrack)".printLog()
      }
  
      func onAuthInfoWillExpire() {
          "onAuthInfoWillExpire".printLog()
  
          /* TODO: 务必处理；Token即将过期，需要业务触发重新获取当前channel，user的鉴权信息，然后设置refreshAuthInfo即可 */
      }
  
      func onAuthInfoExpired() {
          "onAuthInfoExpired".printLog()
  
          /* TODO: 务必处理；提示Token失效，并执行离会与释放引擎 */
      }
  
      func onBye(_ code: Int32) {
          "onBye code: \(code)".printLog()
  
          /* TODO: 务必处理；业务可能会触发同一个UserID的不同设备抢占的情况 */
      }
  
      func onLocalDeviceException(_ deviceType: AliRtcLocalDeviceType, exceptionType: AliRtcLocalDeviceExceptionType, message msg: String?) {
          "onLocalDeviceException deviceType: \(deviceType)  exceptionType: \(exceptionType)".printLog()
  
          /* TODO: 务必处理；建议业务提示设备错误，此时SDK内部已经尝试了各种恢复策略已经无法继续使用时才会上报 */
      }
  
      func onConnectionStatusChange(_ status: AliRtcConnectionStatus, reason: AliRtcConnectionStatusChangeReason) {
          "onConnectionStatusChange status: \(status)  reason: \(reason)".printLog()
  
          if status == .failed {
              /* TODO: 务必处理；建议业务提示用户，此时SDK内部已经尝试了各种恢复策略已经无法继续使用时才会上报 */
          }
          else {
              /* TODO: 可选处理；增加业务代码，一般用于数据统计、UI变化 */
          }
      }
  }

5、设置音视频属性

• 设置音频相关属性

  调用setAudioProfile设置音频的编码模式和音频场景

  // 设置音频Profile，默认使用高音质模式AliRtcEngineHighQualityMode及音乐模式AliRtcSceneMusicMode
  engine.setAudioProfile(AliRtcAudioProfile.engineHighQualityMode, audio_scene: AliRtcAudioScenario.sceneMusicMode)

• 设置视频相关属性

  可以设置推出去的视频流的分辨率、码率、帧率等信息。

  // 设置视频编码参数
  let config = AliRtcVideoEncoderConfiguration()
  config.dimensions = CGSize(width: 720, height: 1280)
  config.frameRate = 20
  config.bitrate = 1200
  config.keyFrameInterval = 2000
  config.orientationMode = AliRtcVideoEncoderOrientationMode.adaptive
  engine.setVideoEncoderConfiguration(config)
  engine.setCapturePipelineScaleMode(.post)

6、设置推拉流属性

设置推送音视频流及默认拉所有用户的流：

• 调用publishLocalAudioStream推送音频流

• 调用publishLocalVideoStream推送视频流，如果是语音通话，可以设置成false

// SDK默认会publish音频，publishLocalVideoStream(true)可以不调用
engine.publishLocalVideoStream(true)
// SDK默认会publish视频，如果是视频通话，publishLocalAudioStream(true)可以不调用
// 如果是纯语音通话 则需要设置publishLocalVideoStream(false)设置不publish视频
engine.publishLocalAudioStream(true)

// 设置默认订阅远端的音频和视频流
engine.setDefaultSubscribeAllRemoteAudioStreams(true)
engine.subscribeAllRemoteAudioStreams(true)
engine.setDefaultSubscribeAllRemoteVideoStreams(true)
engine.subscribeAllRemoteVideoStreams(true)

7、开启本地预览

• 调用setLocalViewConfig设置本地渲染视图，同时设置本地的视频显示属性。

• 调用startPreview 方法，开启本地视频预览

let videoView = self.createVideoView(uid: self.userId)

let canvas = AliVideoCanvas()
canvas.view = videoView.canvasView
canvas.renderMode = .auto
canvas.mirrorMode = .onlyFrontCameraPreviewEnabled
canvas.rotationMode = ._0

self.rtcEngine?.setLocalViewConfig(canvas, for: AliRtcVideoTrack.camera)
self.rtcEngine?.startPreview()

8、加入频道

调用joinChannel加入频道，这里推荐使用单参数方式，需要调用joinChannel[3/3]接口。调用完加入频道后，需要同时判断返回值，及在onJoinChannelResult回调中拿到加入频道结果，如果返回0并且result为0，则表示加入频道成功，否则需要检查传进来的Token是否非法。

let ret = self.rtcEngine?.joinChannel(joinToken, channelId: nil, userId: nil, name: nil) { [weak self] errCode, channelId, userId, elapsed in
    if errCode == 0 {
        // success

    }
    else {
        // failed
    }
    
    let resultMsg = "\(msg) \n CallbackErrorCode: \(errCode)"
    resultMsg.printLog()
    UIAlertController.showAlertWithMainThread(msg: resultMsg, vc: self!)
}

let resultMsg = "\(msg) \n ReturnErrorCode: \(ret ?? 0)"
resultMsg.printLog()
if ret != 0 {
    UIAlertController.showAlertWithMainThread(msg: resultMsg, vc: self)
}

9、设置远端视图

远端用户并进行推流或停止推流时，会触发onRemoteTrackAvailableNotify回调，在回调会设置或移除远端视图，示例代码如下：

func onRemoteTrackAvailableNotify(_ uid: String, audioTrack: AliRtcAudioTrack, videoTrack: AliRtcVideoTrack) {
    "onRemoteTrackAvailableNotify uid: \(uid) audioTrack: \(audioTrack)  videoTrack: \(videoTrack)".printLog()
    // 远端用户的流状态
    if audioTrack != .no {
        let videoView = self.videoViewList.first { $0.uidLabel.text == uid }
        if videoView == nil {
            _ = self.createVideoView(uid: uid)
        }
    }
    if videoTrack != .no {
        var videoView = self.videoViewList.first { $0.uidLabel.text == uid }
        if videoView == nil {
            videoView = self.createVideoView(uid: uid)
        }
        
        let canvas = AliVideoCanvas()
        canvas.view = videoView!.canvasView
        canvas.renderMode = .auto
        canvas.mirrorMode = .onlyFrontCameraPreviewEnabled
        canvas.rotationMode = ._0
        self.rtcEngine?.setRemoteViewConfig(canvas, uid: uid, for: AliRtcVideoTrack.camera)
    }
    else {
        self.rtcEngine?.setRemoteViewConfig(nil, uid: uid, for: AliRtcVideoTrack.camera)
    }
    
    if audioTrack == .no && videoTrack == .no {
        self.removeVideoView(uid: uid)
        self.rtcEngine?.setRemoteViewConfig(nil, uid: uid, for: AliRtcVideoTrack.camera)
    }
}

10、离开房间并销毁引擎

音视频互动结束，需要离开房间并销毁引擎，按照下列步骤结束音视频互动

1. 调用 stopPreview 停止视频预览。

2. 调用leaveChannel离会。

3. 调用destroy销毁引擎，并释放相关资源。

self.rtcEngine?.stopPreview()
self.rtcEngine?.leaveChannel()
AliRtcEngine.destroy()
self.rtcEngine = nil

11、效果演示

示例项目

阿里云ARTC SDK提供了开源的实时音视频互动示例项目供客户参考，您可以前往下载或查看示例源码。

相关文档

数据结构

AliRtcEngine接口