API接口详情

初始化

/**
 * 初始化
 * @param config 初始化配置
 */
public abstract void init(ARTCAICallConfig config);

参数详情：

设置智能体类型

/**
 * 设置智能体类型
 * @param aiAgentType
 */
public abstract void setAICallAgentType(ARTCAICallAgentType aiAgentType);

参数详情：

创建&开始通话

/**
 * 创建&开始通话
 */
public abstract void call(String rtcToken, String aiAgentInstanceId, String aiAgentUserId, String channelId);

参数详情：

开始呼叫智能体通话, 此接口是SDK接口呼叫智能体接口，需要传入RTC 的入房Token作为鉴权token，并在 ARTCAICallConfig 中设置mAiCallAgentTemplateConfig相关的智能体ID、智能体区域及相关启动参数。

/**
   * 开始呼叫智能体通话
   * @param rtcToken 本端用户加入到RTC房间的鉴权Token
   * @detail 此接口使用SDK的接口呼叫智能体，需要传入RTC 的入房Token，并在 ARTCAICallConfig 中
   * 设置mAiCallAgentTemplateConfig相关的智能体ID、智能体区域及相关启动参数
   */
public abstract void call(String rtcToken);

参数详情：

挂断

/**
 * 挂断
 */
public abstract void handup();

切换麦克风状态

/**
 * 切换麦克风状态
 * @param on
 */
public abstract void switchMicrophone(boolean on);

参数详情：

打断机器人说话

/**
 * 打断机器人说话
 */
public abstract boolean interruptSpeaking();

开启/关闭智能打断

/**
 * 开启/关闭智能打断
 */
public abstract boolean enableVoiceInterrupt(boolean enable);

参数详情：

扬声器/听筒切换。true: 扬声器播放，false: 听筒播放

/**
 * 扬声器/听筒切换
 */
public abstract boolean enableSpeaker(boolean enable);

参数详情：

停止/恢复智能体音频流的播放

public abstract boolean muteAgentAudioPlaying(boolean mute);

参数详情：

开启/关闭对讲机模式

/**
 * 开启/关闭对讲机模式，对讲机模式下，只有在finishPushToTalk被调用后，智能体才会播报结果
 * @param enable
 * @return
 */
public abstract boolean enablePushToTalk(boolean enable);

参数详情：

对讲机模式是否开启

/**
 * 对讲机模式是否开启
 * @return
 */
public abstract boolean isPushToTalkEnable();

对讲机模式：开始讲话

/**
 * 对讲机模式：开始讲话
 * @return
 */
public abstract boolean startPushToTalk();

对讲机模式：结束讲话

/**
 * 对讲机模式：结束讲话
 * @return
 */
public abstract boolean finishPushToTalk();

对讲机模式：取消这次通话

/**
 * 对讲机模式：取消这次通话
 * @return
 */
public abstract boolean cancelPushToTalk();

切换音色

/**
 * 切换音色
 */
public abstract boolean switchRobotVoice(String voiceId);

参数详情：

获取正在使用的音色

/**
 * 获取正在使用的音色
 * @return
 */
public abstract String getRobotVoiceId();

注册回调

/**
 * 注册回调
 * @param engineCallback
 */
public abstract void setEngineCallback(IARTCAICallEngineCallback engineCallback);

参数详情：

是否关闭麦克风

/**
 * 是否关闭麦克风
 * @return
 */
public abstract boolean isMicrophoneOn();

是否是扬声器播放，true: 扬声器播放，false: 听筒播放。

/**
 * 是否是扬声器播放
 * @return
 */
public abstract boolean isSpeakerOn();

智能打断是否开启

/**
 * 智能打断是否开启
 * @return
 */
public abstract boolean isVoiceInterruptEnable();

设置数字人视图载体并指定渲染模式

public abstract void setAvatarAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams avatarLayoutParams, ARTCAICallVideoCanvas canvas);

参数详情：

设置视觉理解本地视图载体并指定渲染模式

public abstract void setVisionPreviewView(ViewGroup viewGroup, ViewGroup.LayoutParams visionLayoutParams, ARTCAICallVideoCanvas canvas);

参数详情：

关闭/取消关闭摄像头

/**
 * 关闭/取消关闭摄像头
 */
public abstract boolean muteLocalCamera(boolean mute);

参数详情：

摄像头是否关闭

/**
 * 摄像头是否关闭
 * @return
 */
public abstract boolean isLocalCameraMute();

切换前后摄像头

/**
 * 切换前后摄像头
 */
public abstract boolean switchCamera();

获取RTC引擎实例

/**
 * 获取rtc引擎实例
 * @return
 */
public abstract AliRtcEngine getRtcEngine();

获取官方协议实现

/**
 * 获取官方协议实现
 * @return
 */
public abstract IARTCAICallService getIARTCAICallService();

发送自定义消息给LLM

/**
 * 发送自定义消息给LLM
 * @param req
*/
public  boolean sendTextToAgent(ARTCAICallSendTextToAgentRequest req);

参数详情：

给业务Server发送自定义消息，需要在接通后调用

/**
 * 发送自定义消息给AppServer
 * 复用智能体消息通道，向AppServer发送消息, 需要AppServer监听回调拿到自定义的消息
 * @param msg
 * @return true: 发送成功；false: 发送失败
*/
public boolean sendCustomMessageToServer(String msg);

参数详情：

更新LLM的系统提示词，需要在接通后调用

/**
 * 更新llm的系统提示词，例如：“你是一位友好且乐于助人的助手，专注于为用户提供准确的信息和建议。”
 * @param prompt
 * @return true: 更新成功；false: 更新失败
*/
public boolean updateLlmSystemPrompt(String prompt)

参数详情：

更新百炼应用中心参数

public abstract boolean updateBailianAppParams(String params);

参数详情：

更新VCR配置

 public abstract boolean updateVcrConfig(ARTCAICallAgentVcrConfig config);

参数详情：

视觉理解智能体，开始启动自定义截帧，启动后，无法通过语音与智能体通话，需要在接通后调用

/**
 * Vision智能体，开始启动自定义截帧，启动后，无法通过语音与智能体通话
 * @param request 请求参数
 * @return true: 发送成功；false: 发送失败
*/
public  boolean startVisionCustomCapture(ARTCAICallVisionCustomCaptureRequest request);

参数详情：

视觉理解智能体，结束自定义截帧，需要在接通后调用

public  boolean stopVisionCustomCapture();

设置智能体视频视图载体

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams);

参数详情：

设置智能体视频视图载体并指定渲染模式

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams, ARTCAICallVideoCanvas canvas);

参数详情：

设置本地预览视图控件

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams);

参数详情：

设置本地预览视图控件并指定渲染模式

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams, ARTCAICallVideoCanvas canvas);

参数详情：

发生了错误

/**
 * 发生了错误
 * @param errorCode 错误码
 */
void onErrorOccurs(AICallErrorCode errorCode);

参数详情：

智能体启动成功，如果使用端侧call[2/2]接口呼叫智能体，呼叫成功会收到该回调。

/**
 * 智能体启动成功
 */     
public void onAgentStarted() {}

通话开始（入会）

/**
 * 通话开始（入会）
 */
void onCallBegin();

通话结束（离会）

/**
 * 通话结束（离会）
 */
void onCallEnd();

底层AliRtcEngine引擎创建完成

 public void onAliRtcEngineCreated(AliRtcEngine engine)

参数详情：

机器人状态同步

/**
 * 机器人状态同步
 * @param oldRobotState
 * @param newRobotState
 */
void onAICallEngineRobotStateChanged(ARTCAICallRobotState oldRobotState, ARTCAICallRobotState newRobotState);

参数详情：

用户说话回调

/**
 * 用户说话回调
 * @param isSpeaking 是否在说话
 */
void onUserSpeaking(boolean isSpeaking);

参数详情：

同步ASR识别用户的话

/**
 * 同步ASR识别用户的话
 * @param text ASR识别出的具体文本
 * @param isSentenceEnd 当前文本是否为这句话的最终结果
 * @param sentenceId 当前文本属于的句子ID
 * @param voicePrintStatusCode 声纹识别状态
 */
void  void onUserAsrSubtitleNotify(String text, boolean isSentenceEnd, int sentenceId, VoicePrintStatusCode voicePrintStatusCode);

参数详情：

同步智能体回应的话

/**
 * 同步智能体回应的话
 * @param text 智能体的话
 * @param end 当前回复是否结束
 * @param userAsrSentenceId 表示回应对应sentenceId语音输入的llm内容
 */
void onAIAgentSubtitleNotify(String text, boolean end, int userAsrSentenceId);

参数详情：

当前通话中，LLM回答完毕

/**
 * 当前通话中，LLM回答完毕
 * @param text LLM输出的文本
 * @param userAsrSentenceId 回答用户问题的句子ID
 * @note 该回调是LLM针对某个提问的全部内容回答，不会根据智能体语音播报同步回调；如果是实时字幕需求，使用onAIAgentSubtitleNotify
 */
public void onLLMReplyCompleted(String text, int userAsrSentenceId) {}

参数详情：

网络状态回调

/**
 * 网络状态回调
 * @param uid 入会用户id
 * @param quality 网络状态
 */
void onNetworkStatusChanged(String uid, ARTCAICallNetworkQuality quality);

参数详情：

音量变化

/**
 * 音量变化
 * @param uid 用户id
 * @param volume 音量[0-255]
 */
void onVoiceVolumeChanged(String uid, int volume);

参数详情：

当前通话的音色发生了改变

/**
 * 当前通话的音色发生了改变
 */
void onVoiceIdChanged(String voiceId);

参数详情：

当前通话的语音打断设置改变

/**
 * 当前通话的语音打断设置改变
 */
void onVoiceInterrupted(boolean enable);

参数详情：

智能体视频是否可用（推流）

/**
 * 智能体视频是否可用（推流）
 */
void onAgentVideoAvailable(boolean available);

参数详情：

智能体音频是否可用（推流）

/**
 * 智能体音频是否可用（推流）
 */
void onAgentAudioAvailable(boolean available);

参数详情：

音频回环延迟

/**
         * 音频回环延迟
         *  @param id 语句ID
         *  @param delay_ms 延迟
         */
public void onAudioDelayInfo(int id, int delay_ms) {}

参数详情：

数字人首视频帧渲染

/**
*  数字人首视频帧渲染
*/
void onAgentAvatarFirstFrameDrawn();

用户上线回调

/**
*  用户上线回调
*/
void onUserOnLine(String uid);

参数详情：

智能体当前讲话被打断

public void onSpeakingInterrupted(ARTCAICallSpeakingInterruptedReason reason);

参数说明：

当前视觉理解通话是否启用了自定义截帧模式

public void onVisionCustomCapture(boolean enable)

参数说明：

当前智能体即将离开（结束当前通话）

/**
 * 当前智能体即将离开（结束当前通话）
 * @param reason 原因：2001（闲时退出），2002（真人接管结束）， 0（其他）
 * @param message 描述原因
 */
void onAgentWillLeave(int reason, String message);

参数详情：

当真人即将接管当前智能体

public void onHumanTakeoverWillStart(String takeoverUid, int takeoverMode);

参数详情：

当真人接管已经接通

public void onHumanTakeoverConnected(String takeoverUid);

当真人接管已经接通

智能体自定义消息

/**
 * 智能体自定义消息
 * @param data 自定义消息体，使用JSON字符串
 */
public void onReceivedAgentCustomMessage(String data);

参数详情：

智能体情绪结果通知

public void onAgentEmotionNotify(String emotion,int userAsrSentenceId);

参数详情：

智能体消息通道可用性回调，该回调触发后，才可以给智能体发送消息

public void onAgentDataChannelAvailable() {}

收到当前智能体发过来VCR结果。详情，请参见ARTCAICallAgentVcrResult。

 public void onReceivedAgentVcrResult(ARTCAICallAgentVcrResult result) {}