API接口详情

call

开始通话

async call(userId: string, agentInfo: AICallAgentInfo, config?: AICallEngineConfig): Promise<void>>

参数详情：

{
  //是否静音麦克风
  muteMicrophone?: boolean;
  //视觉理解模式是否关闭摄像头
  muteCamera?: boolean;
  //是否开启按住说话
  enablePushToTalk?: boolean;
  //视觉理解模式 预览视频元素
  previewElement?: string | HTMLVideoElement;
  //视觉理解模式 摄像头设置
  cameraConfig?: AICallCameraConfig;
}

handup

退出通话

async handup(): Promise<void>

setAgentView

设置智能体渲染视图

setAgentView(view: HTMLVideoElement | string): void

参数详情：

setLocalView

设置本地预览视图

setLocalView(view?: HTMLVideoElement | string): void

参数详情：

interruptSpeaking

打断智能体讲话

async interruptSpeaking(): Promise<void>

enableVoiceInterrupt

开启/关闭智能打断

async enableVoiceInterrupt(enable: boolean): Promise<void>

参数详情：

muteLocalCamera

开关摄像头推送

async muteLocalCamera(mute: boolean)

参数详情：

switchCamera

切换摄像头

async switchCamera(deviceId?: string)

参数详情：

switchVoiceId

切换音色

async switchVoiceId(voiceId: string): Promise<void>

参数详情：

mute

静音/取消禁音麦克风

async mute(mute: boolean): Promise<void>

参数详情：

muteAgentAudioPlaying

停止/恢复智能体音频流的播放

muteAgentAudioPlaying(mute: boolean)

参数详情：

startPushToTalk

对讲机模式下，开始讲话

startPushToTalk() :boolean;

finishPushToTalk

对讲机模式下，结束讲话

finishPushToTalk() :boolean;

cancelPushToTalk

对讲机模式下，取消这次讲话

cancelPushToTalk() :boolean;

enablePushToTalk

开启/关闭对讲机模式，对讲机模式下，只有在finishPushToTalk被调用后，智能体才会播报结果

enablePushToTalk(enable: boolean):boolean;

参数详情：

getRTCInstance

获取RTC引擎

getRTCInstance(): AliRtcEngine | undefined

sendTextToAgent

给智能体发送文本消息

sendTextToAgent(req: AICallSendTextToAgentRequest);

参数详情：

sendCustomMessageToServer

给Server发送自定义消息，需要在接通后调用

sendCustomMessageToServer(msg: string)

参数详情：

updateLlmSystemPrompt

更新LLM的系统提示词，需要在接通后调用。

updateLlmSystemPrompt(prompt: string)

参数详情：

startVisionCustomCapture

视觉理解智能体，开始启动自定义截帧，启动后，无法通过语音与智能体通话，需要在接通后调用

startVisionCustomCapture(req: AICallVisionCustomCaptureRequest)

参数详情：

{
  /**
   * 请求多模态大模型时的文本参数
   */
  text?: string;

  /**
   * 为true时表示单次截帧，截帧后立即退出自定义截帧状态；
   * 为false时表示持续截帧，达到duration后会自动退出自定义截帧状态
   */
  isSingle?: boolean;

  /**
   * 截帧间隔时长
   * 默认 5 秒一次
   */
  eachDuration?: number;

  /**
   * 每次截帧的图片数量
   * 默认 2
   */
  num?: number;

  /**
   * 持续截帧的时长（秒），如果isSingle=true，则忽略，否则达到该设定时长时会结束自定义截帧状态
   */
  duration?: number;

  /**
   * json字符串，自定义业务信息，跟随text和图片帧一同传给大模型，用于企业做业务处理
   */
  userData?: string;
}

stopVisionCustomCapture

视觉理解智能体，结束自定义截帧，需要在接通后调用

stopVisionCustomCapture()

destroy

释放资源

async destroy()

errorOccurred

当前通话时发生了错误

参数详情：

callBegin

通话开始

callEnd

通话结束

agentStateChanged

智能体状态改变

参数详情：

speakingVolumeChanged

音量变化通知

参数详情：

userSubtitleNotify

用户提问被智能体识别结果的通知

参数详情：

agentSubtitleNotify

智能体回答结果通知

参数详情：

voiceIdChanged

当前通话的音色发生了改变

参数详情：

pushToTalkChanged

对讲机模式发生变化

参数详情：

agentWillLeave

当前智能体即将离开（结束当前通话）

参数详情：

receivedAgentCustomMessage

收到当前智能体发过来的自定义消息

参数详情：

voiceInterruptChanged

当前通话的语音打断是否启用

参数详情：

humanTakeoverWillStart

真人即将接管当前智能体

参数详情：

humanTakeoverConnected

真人接管已经接通

参数详情：

agentEmotionNotify

智能体情绪结果通知

参数详情：

agentDataChannelAvailable

智能体消息通道可用性回调，该回调触发后，可以开始给智能体发送消息