Web使用指南

集成SDK

npm install aliyun-auikit-aicall --save

SDK使用示例

// 引入SDK
import ARTCAICallEngine, { ARTCAICallErrorCode, ARTCAICallAgentState, AICallSubtitleData } from 'aliyun-auikit-aicall';

// 创建engine实例
const engine = new ARTCAICallEngine();

// 其他功能调用示例，请参考API说明

// 回调处理（仅示例不分核心的回调操作）
engine.on('errorOccurred', (code: ARTCAICallErrorCode) => {
  // 发生了错误
  engine.handup();
});

engine.on('callBegin', () => {
  // 通话开始
});

engine.on('callEnd', () => {
  // 通话结束
});

engine.on('agentStateChanged', (state: ARTCAICallAgentState) => {
  // 智能体状态改变
});

engine.on('userSubtitleNotify', (subtitle: AICallSubtitleData) => {
  // 用户提问被智能体识别结果的通知
});

engine.on('agentSubtitleNotify', (subtitle: AICallSubtitleData) => {
  // 智能体回答结果通知
});

engine.on('voiceIdChanged', (voiceId: string) => {
  // 当前通话的音色发生了改变
});

engine.on('voiceInterruptChanged', (enable: boolean) => {
  // 当前通话的语音打断是否启用
});

const userId = '';

// 从服务端获取 agentInfo
const agentInfo = fetchAgentInfo();

try {
  // 启动智能体后，开始通话
  engine.call(userId, agentInfo);
} catch (error) {}

// 结束通话
engine.handup();

API说明

属性说明

API概览

ARTCAICallEngine 详情

call

开始通话

async call(userId: string, agentInfo: AICallAgentInfo, config?: AICallEngineConfig): Promise<void>>

参数详情：

{
  //是否静音麦克风
  muteMicrophone?: boolean;
  //视觉理解模式是否关闭摄像头
  muteCamera?: boolean;
  //是否开启按住说话
  enablePushToTalk?: boolean;
  //视觉理解模式 预览视频元素
  previewElement?: string | HTMLVideoElement;
  //视觉理解模式 摄像头设置
  cameraConfig?: AICallCameraConfig;
}

handup

退出通话

async handup(): Promise<void>

setAgentView

设置智能体渲染视图，及视图模式

setAgentView(view: HTMLVideoElement | string): void

参数详情：

interruptSpeaking

打断智能体讲话

async interruptSpeaking(): Promise<void>

enableVoiceInterrupt

开启/关闭智能打断

async enableVoiceInterrupt(enable: boolean): Promise<void>

参数详情：

startPreview

设置本地预览地址

startPreview(view: HTMLVideoElement | string): void

参数详情：

muteLocalCamera

开关摄像头推送

async muteLocalCamera(mute: boolean)

参数详情：

switchCamera

切换摄像头

async switchCamera(deviceId?: string)

参数详情：

switchVoiceId

切换音色

async switchVoiceId(voiceId: string): Promise<void>

参数详情：

mute

静音/取消禁音麦克风

async mute(mute: boolean): Promise<void>

参数详情：

startPushToTalk

对讲机模式下，开始讲话

startPushToTalk() :boolean;

finishPushToTalk

对讲机模式下，结束讲话

finishPushToTalk() :boolean;

cancelPushToTalk

对讲机模式下，取消这次讲话

cancelPushToTalk() :boolean;

enablePushToTalk

开启/关闭对讲机模式，对讲机模式下，只有在finishPushToTalk被调用后，智能体才会播报结果

enablePushToTalk(enable: boolean):boolean;

参数详情：

getRTCInstance

获取RTC引擎

getRTCInstance(): AliRtcEngine | undefined

destroy

释放资源

async destroy()

ARTCAICallEngine事件详情

errorOccurred

当前通话时发生了错误

参数详情：

callBegin

通话开始

callEnd

通话结束

agentStateChanged

智能体状态改变

参数详情：

speakingVolumeChanged

音量变化通知

参数详情：

userSubtitleNotify

用户提问被智能体识别结果的通知

参数详情：

agentSubtitleNotify

智能体回答结果通知

参数详情：

voiceIdChanged

当前通话的音色发生了改变

参数详情：

pushToTalkChanged

对讲机模式发生变化

参数详情：

agentWillLeave

当前智能体即将离开（结束当前通话）

参数详情：

receivedAgentCustomMessage

收到当前智能体发过来的自定义消息

参数详情：

voiceInterruptChanged

当前通话的语音打断是否启用

参数详情：

humanTakeoverWillStart

真人即将接管当前智能体

参数详情：

humanTakeoverConnected

真人接管已经接通

参数详情：

agentEmotionNotify

智能体情绪结果通知

参数详情：