Harmony接口详情

获取当前通话的UserId

readonly userId: string | undefined

类型: string | undefined

备注: 只读属性，获取当前通话的用户ID。

获取是否通话中状态

readonly isOnCall: boolean

类型: boolean

备注: 只读属性，从接通后到挂断或出错前为true，其他为false。

获取当前智能体信息

readonly agentInfo: ARTCAICallAgentInfo | undefined

类型: ARTCAICallAgentInfo | undefined

备注: 只读属性，获取当前通话的智能体信息。

获取当前智能体状态

readonly agentState: ARTCAICallAgentState

类型: ARTCAICallAgentState

备注: 只读属性，获取当前智能体的状态。

音频配置

audioConfig: ARTCAICallAudioConfig

类型: ARTCAICallAudioConfig

备注: 音频配置，在通话前设置才能生效。

视频配置

videoConfig: ARTCAICallVideoConfig

类型: ARTCAICallVideoConfig

备注: 视频配置，VisionAgent/VideoAgent时，在通话前设置才能生效。

设置和获取回调事件

listener: ARTCAICallEngineListener | undefined

类型: ARTCAICallEngineListener | undefined

备注: 用于设置和获取回调事件监听器。

开始通话

call(userId: string, token: string, agentInfo: ARTCAICallAgentInfo): boolean

参数详情：

返回值: boolean

备注: 开始一次AI通话。

通过通话配置来开始通话

callWithConfig(config: ARTCAICallConfig): boolean

参数详情：

返回值: boolean

备注: 使用完整的通话配置开始一次AI通话。

挂断并销毁当前通话引擎

handup(destroy: boolean): void

参数详情：

返回值: void

备注: 挂断并销毁当前通话引擎。首先发送消息通知智能体停止通话，然后等待100ms后再自行结束通话，如果destroy为true，则还会自行释放内部资源。

设置智能体渲染视图及配置

setAgentViewConfig(viewConfig: ARTCAICallViewConfig | undefined): void

参数详情：

返回值: void

备注: 当智能体有画面渲染时需要设置（当前仅针对AvararAgent/VideoAgent有效）。

设置本地摄像头渲染视图及配置

setLocalViewConfig(viewConfig: ARTCAICallViewConfig | undefined): void

参数详情：

返回值: void

备注: 本地摄像头渲染视图及配置（当前仅针对VisionAgent/VideoAgent有效）。

打断智能体讲话

interruptSpeaking(): boolean

返回值: boolean

备注: 需要在接通后调用，返回是否成功。

给智能体发送文本消息

sendTextToAgent(req: ARTCAICallSendTextToAgentRequest): boolean

参数详情：

返回值: boolean

备注: 需要在接通后调用，返回是否成功。

给Server发送自定义消息

sendCustomMessageToServer(msg: string): boolean

参数详情：

返回值: boolean

备注: 需要在接通后调用，返回是否成功。

更新llm的系统提示词

updateLlmSystemPrompt(prompt: string): boolean

参数详情：

返回值: boolean

备注: 需要在接通后调用，例如："你是一位友好且乐于助人的助手，专注于为用户提供准确的信息和建议。" 注意：不支持LLM节点为百炼工作流类型，返回成功不代表生效。

更新百炼应用中心参数

updateBailianAppParams(params: Record<string, RecordValueType>): boolean

参数详情：

返回值: boolean

备注: 更新百炼应用中心参数，返回是否发送成功，不代表是否生效。

更新VCR配置

updateVcrConfig(vcrConfig: ARTCAICallAgentVcrConfig): boolean

参数详情：

返回值: boolean

备注: 更新VCR配置，返回是否发送成功，不代表是否生效。

更新语音断句检测阈值

updateAsrMaxSilence(duration: number): boolean

参数详情：

返回值: boolean

备注: 静音时长超过该阈值会被认为断句，参数范围 200ms～1200ms，返回是否发送成功，不代表是否生效。

更新TTS播报语速

updateTtsSpeechRate(rate: number): boolean

参数详情：

返回值: boolean

备注: 支持所有TTS类型，取值范围为[0.5, 2.0]，返回是否发送成功，不代表是否生效。

查询当前的智能体状态

queryCurrentAgentState(): boolean

返回值: boolean

备注: 发送成功后，会触发onAgentStateChanged事件，返回是否发送成功。

Vision智能体，开始启动自定义截帧

startVisionCustomCapture(req: ARTCAICallVisionCustomCaptureRequest): boolean

参数详情：

返回值: boolean

备注: 启动后，无法通过语音与智能体通话，需要在接通后调用，返回是否成功。

Vision智能体，结束自定义截帧

stopVisionCustomCapture(): boolean

返回值: boolean

备注: 需要在接通后调用，返回是否成功。

开启/关闭智能打断

enableVoiceInterrupt(enable: boolean): boolean

参数详情：

返回值: boolean

备注: 需要在接通后调用，返回是否成功。

切换音色

switchVoiceId(voiceId: string): boolean

参数详情：

返回值: boolean

备注: 切换智能体音色，返回是否成功。

开启/关闭扬声器

enableSpeaker(enable: boolean): boolean

参数详情：

返回值: boolean

备注: 开启/关闭扬声器，返回是否成功。

停止/恢复智能体音频流的播放

muteAgentAudioPlaying(mute: boolean): boolean

参数详情：

返回值: boolean

备注: 停止/恢复智能体音频流的播放，返回是否成功。

静音/取消禁音麦克风

muteMicrophone(mute: boolean): boolean

参数详情：

返回值: boolean

备注: 静音/取消禁音麦克风，返回是否成功。

关闭/取消关闭摄像头

muteLocalCamera(mute: boolean): boolean

参数详情：

返回值: boolean

备注: VisionAgent/VideoAgent时有效，关闭/取消关闭摄像头，返回是否成功。

切换前后摄像头

switchCamera(): boolean

返回值: boolean

备注: VisionAgent/VideoAgent时有效，切换前后摄像头，返回是否成功。

开启/关闭对讲机模式

enablePushToTalk(enable: boolean): boolean

参数详情：

返回值: boolean

备注: 对讲机模式下，只有在finishPushToTalk被调用后，智能体才会播报结果，返回是否成功。

开始讲话

startPushToTalk(): boolean

返回值: boolean

备注: 开始讲话，返回是否成功。

结束讲话

finishPushToTalk(): boolean

返回值: boolean

备注: 结束讲话，返回是否成功。

取消这次讲话

cancelPushToTalk(): boolean

返回值: boolean

备注: 取消这次讲话，返回是否成功。

当前断句是否使用声纹降噪识别

useVoiceprint(isUse: boolean): boolean

参数详情：

返回值: boolean

备注: 邀测阶段，如需体验，请联系相关人员，返回是否成功。

清除当前声纹数据

clearVoiceprint(): boolean

返回值: boolean

备注: 邀测阶段，如需体验，请联系相关人员，返回是否成功。

创建RTC引擎

createRTCEngine(): void

返回值: void

备注: 有需要可以调用该接口，提前创建RTC引擎，否则会在Call接口被调用后创建。

获取RTC引擎

getRTCInstance(): object | undefined

返回值: object | undefined

备注: 获取RTC引擎实例。

释放资源

destroy(): void

返回值: void

备注: 释放资源。

解析一个分享的智能体信息

parseShareAgentCall(shareInfo: string): Promise<ARTCAICallAgentShareConfig | undefined>

参数详情：

返回值: Promise<ARTCAICallAgentShareConfig | undefined>

备注: 解析分享的智能体信息，返回分享出来的智能体配置。

启动一个分享的智能体通话

generateShareAgentCall(shareConfig: ARTCAICallAgentShareConfig, userId: string): Promise<ARTCAICallAgentShareGenerateResult | undefined>

参数详情：

返回值: Promise<ARTCAICallAgentShareGenerateResult | undefined>

备注: 启动一个分享的智能体通话。

发生了错误

onErrorOccurs?(code: ARTCAICallErrorCode): void

参数详情：

返回值: void

备注: 当发生错误时触发。

通话过程中链接状态发生变化

onConnectionStatusChange?(status: ARTCAICallConnectionStatus, reason: number): void

参数详情：

返回值: void

备注: 连接状态发生变化时触发。

通话开始（入会）

onCallBegin?(): void

返回值: void

备注: 通话开始时触发。

通话结束（离会）

onCallEnd?(): void

返回值: void

备注: 通话结束时触发。

通话智能体已启动

onAgentStarted?(): void

返回值: void

备注: 智能体启动时触发。

RTC引擎被成功创建，可以在这个回调里调用getRTCInstance获取到rtc引擎实例

onRTCEngineCreated?(): void

返回值: void

备注: RTC引擎创建完成时触发。

智能体消息通道可用回调，需要等回调触发后，才可以给智能体发送消息

onAgentDataChannelAvailable?(): void

返回值: void

备注: 智能体数据通道可用时触发，需要等待回调触发后才能向智能体发送消息。

智能体视频是否可用（推流）

onAgentVideoAvailable?(available: boolean): void

参数详情：

返回值: void

备注: 智能体视频流可用性变化时触发。

智能体音频是否可用（推流）

onAgentAudioAvailable?(available: boolean): void

参数详情：

返回值: void

备注: 智能体音频流可用性变化时触发。

智能体数字人首帧渲染

onAgentAvatarFirstFrameDrawn?(): void

返回值: void

备注: 智能体数字人首帧渲染完成后触发。

智能体状态改变

onAgentStateChanged?(state: ARTCAICallAgentState): void

参数详情：

返回值: void

备注: 智能体状态改变时触发。

网络状态改变

onNetworkStatusChanged?(uid: string, quality: ARTCAICallNetworkQuality): void

参数详情：

返回值: void

备注: 网络状态改变时触发。

音量变化通知

onVoiceVolumeChanged?(uid: string, volume: number): void

参数详情：

返回值: void

备注: 音量变化时触发。

用户提问被智能体识别结果的通知

onUserSubtitleNotify?(data: ARTCAICallUserSubtitleResult): void

参数详情：

返回值: void

备注: 用户提问被智能体识别时触发。

智能体回答结果通知

onVoiceAgentSubtitleNotify?(data: ARTCAICallAgentSubtitleResult): void

参数详情：

返回值: void

备注: 智能体回答结果通知时触发。

智能体情绪结果通知

onAgentEmotionNotify?(emotion: string, userAsrSentenceId: number): void

参数详情：

返回值: void

备注: 智能体情绪结果通知时触发。

当前通话的音色发生了改变

onVoiceIdChanged?(voiceId: string): void

参数详情：

返回值: void

备注: 通话音色改变时触发。

当前通话的语音打断是否启用

onVoiceInterrupted?(enable: boolean): void

参数详情：

返回值: void

备注: 语音打断状态变化时触发。

智能体当前讲话被打断

onSpeakingInterrupted?(reason: ARTCAICallSpeakingInterruptedReason): void

参数详情：

返回值: void

备注: 智能体讲话被打断时触发。

当前通话的对讲机模式是否启用

onPushToTalk?(enable: boolean): void

参数详情：

返回值: void

备注: 对讲机模式状态变化时触发。

当前通话的声纹降噪是否启用

onVoiceprint?(enable: boolean): void

参数详情：

返回值: void

备注: 声纹降噪功能状态变化时触发（邀测阶段）。

当前通话的声纹数据被清除

onVoiceprintCleared?(): void

返回值: void

备注: 声纹数据被清除时触发（邀测阶段）。

当前智能体即将离开（结束当前通话）

onAgentWillLeave?(reason: number, message: string): void

参数详情：

返回值: void

备注: 智能体即将离开时触发。

收到当前智能体发过来的自定义消息

onReceivedAgentCustomMessage?(data: Record<string, RecordValueType> | undefined): void

参数详情：

返回值: void

备注: 收到智能体自定义消息时触发。

收到当前智能体发过来VCR结果

onReceivedAgentVcrResult?(result: ARTCAICallAgentVcrResult): void

参数详情：

返回值: void

备注: 收到智能体VCR结果时触发。

当真人即将接管当前智能体

onHumanTakeoverWillStart?(takeoverUid: string, takeoverMode: number): void

参数详情：

返回值: void

备注: 真人即将接管智能体时触发。

当真人接管已经接通

onHumanTakeoverConnected?(takeoverUid: string): void

参数详情：

返回值: void

备注: 真人接管连接成功时触发。

音频回环延迟

onAudioDelayInfo?(sentenceId: number, delayMs: number): void

参数详情：

返回值: void

备注: 音频回环延迟信息时触发。

当前Vision通话是否启用了自定义截帧模式

onVisionCustomCapture?(enable: boolean): void

参数详情：

返回值: void

备注: Vision通话自定义截帧模式状态变化时触发。

当前通话中，LLM回答完毕

onLLMReplyCompleted?(text: string, userAsrSentenceId: number): void

参数详情：

返回值: void

备注: LLM回答完成时触发。

当前通话中，如果通过RTC Instance进行播放音乐伴奏，则会触发该播放回调

onAudioAccompanyStateChanged?(state: ARTCAICallAudioAccompanyState, errorCode: ARTCAICallAudioAccompanyErrorCode): void

参数详情：

返回值: void

备注: 音频伴奏状态变化时触发。

创建默认的AICallEngine

public static createEngine(context : common.Context): ARTCAICallEngineInterface

参数详情：

返回值: ARTCAICallEngineInterface

备注: 创建并返回一个AI通话引擎实例。