Harmony数据结构

枚举值

值

描述

VoiceAgent

0

纯语音。

AvatarAgent

1

数字人。

VisionAgent

2

视觉理解。

VideoAgent

3

视频通话。

枚举值

值

描述

Listening

1

聆听中。

Thinking

2

思考中。

Speaking

3

讲话中。

枚举值

值

描述

Excellent

0

网络极好，流程度清晰度质量好。

Good

1

网络好，流畅度清晰度和极好差不多。

Poor

2

网络有点差，音视频流畅度清晰度有瑕疵，不影响沟通。

Bad

3

网络差，视频卡顿严重，音频能正常沟通。

VeryBad

4

网络极差，基本无法沟通。

Disconnect

5

网络中断。

Unknow

6

未知。

枚举值

值

描述

unknown

0

未知原因。

byWords

1

因为识别到特定词。

byVoice

2

因为语音打断。

byInterruptSpeaking

3

因为调用了API：interruptSpeaking。

bySpeechBroadCast

4

因为主动语音播报打断。

byLlmQuery

5

因为主动LLM查询打断。

枚举值

值

描述

Init

0

初始化完成。

Disconnected

1

网络连接断开。

Connecting

2

建立网络连接中。

Connected

3

网络已连接。

Reconnecting

4

重新建立网络连接中。

Failed

5

网络连接失败。

枚举值

值

描述

LowQualityMode

0x0000

音频低音质模式，默认8000Hz采样率，单声道，最大编码码率12kbps。

BasicQualityMode

0x0001

标准音质模式，默认16000Hz采样率，单声道，最大编码码率24kbps。

HighQualityMode

0x0010

（默认）高音质模式，默认48000Hz采样率，单声道，最大编码码率64kbps。

StereoHighQualityMode

0x0011

立体声高音质模式，默认48000Hz采样率，双声道，最大编码码率80kbps。

SuperHighQualityMode

0x0012

超高音质模式，默认48000Hz采样率，单声道，最大编码码率96kbps。

StereoSuperHighQualityMode

0x0013

立体声超高音质模式，默认48000Hz采样率，双声道，最大编码码率128kbps。

枚举值

值

描述

DefaultMode

0x0000

一般的音视频通信场景推荐使用。

MusicMode

0x0300

默认场景，音乐场景，高保真音乐音质，乐器教学等对音乐音质有要求的场景推荐使用。

枚举值

值

描述

Auto

0

自动模式。

Stretch

1

延伸模式。

Fill

2

填充模式。

Crop

3

裁剪模式。

枚举值

值

描述

OnlyFrontCameraPreviewEnabled

0

只有前置摄像头预览镜像，其余不镜像。

AllEnabled

1

镜像都开启。

AllDisabled

2

镜像都关闭。

枚举值

值

描述

Rotation_0

0

视频视图旋转角度 - 0。

Rotation_90

1

视频视图旋转角度 - 90。

Rotation_180

2

视频视图旋转角度 - 180。

Rotation_270

3

视频视图旋转角度 - 270。

枚举值

值

描述

ARTCAICallAudioAccompanyStarted

100

开始播放。

ARTCAICallAudioAccompanyStopped

101

停止播放。

ARTCAICallAudioAccompanyPaused

102

播放暂停。

ARTCAICallAudioAccompanyResumed

103

播放恢复。

ARTCAICallAudioAccompanyEnded

104

播放完毕。

ARTCAICallAudioAccompanyBuffering

105

正在缓冲。

ARTCAICallAudioAccompanyBufferingEnd

106

缓冲结束。

ARTCAICallAudioAccompanyFailed

107

播放失败。

枚举值

值

描述

ARTCAICallAudioAccompanyNoError

0

没有错误。

ARTCAICallAudioAccompanyUnknowError

-1

未知错误。

ARTCAICallAudioAccompanyOpenFailed

-100

打开文件失败。

ARTCAICallAudioAccompanyDecodeFailed

-101

解码文件失败。

枚举值

值

描述

Off

0

没开启声纹降噪Vad，且关闭AIVad。

Unregister

1

已开启声纹降噪Vad，但还完成声纹注册。

DetectedSpeaker

2

已开启声纹降噪Vad，识别到主讲人。

UndetectedSpeaker

3

已开启声纹降噪Vad，没识别到主讲人。

DetectedSpeakerWithAIVad

4

开启AIVad，识别到主讲人。

UndetectedSpeakerWithAIVad

5

开启AIVad，但没识别到主讲人。

Unknown

100

未知。

枚举值

值

描述

Normal

0

普通模式，不使用AI进行语义判断是否说话结束，使用ASR静默时间判断。

Semantic

1

Semantic，用AI根据上下文语义，判断是否说话结束。

属性名

类型

描述

agentId

string

当前智能体ID。

agentType

ARTCAICallAgentType

智能体类型。

channelId

string

智能体所在的RTC频道ID。

uid

string

智能体进入RTC频道的唯一标识。

instanceId

string

当前智能体运行的实例ID。

requestId

string

当前智能体启动的请求ID。

region

string

Agent所在区域。

属性名

类型

描述

agentId

string

智能体Id。

agentType

ARTCAICallAgentType

智能体类型，必须是agentId的类型，否则启动智能体会报错。

agentUserId

string

智能体的Uid，为空时，由智能体服务分配Uid。

region

string

智能体服务所在的区域，必须是agentId所在的区域，否则启动智能体会报错。

userId

string

当前用户Id。

userJoinToken

string

当前用户的入会Token。

userData

Record<string, RecordValueType>

用户自定义信息，该信息最终传给智能体。

agentConfig

ARTCAICallAgentConfig

用于启动通话的agentConfig参数。

audioConfig

ARTCAICallAudioConfig

本地音频配置。

videoConfig

ARTCAICallVideoConfig

本地视频配置，VisionAgent/VideoAgent时才能生效。

chatSyncConfig

ARTCAICallChatSyncConfig

关联的chat智能体配置，如果设置了，那么在通话过程中会把通话记录同步到chat智能体上。

属性名

类型

描述

audioProfile

ARTCAICallAudioProfile

音频编码配置，默认是HighQualityMode。

audioScenario

ARTCAICallAudioScenario

音频场景配置，默认是ARTCAICallAudioSceneMusicMode。

ignoreSetAudioProfile

boolean

SDK初始化ARTC引擎时，是否无需调用setAudioProfile接口，默认需要调用。

属性名

类型

描述

dimensions

SizeOptions

推流分辨率。

frameRate

number

推流帧率。

bitrate

number

推流码率。

keyFrameInterval

number

推流关键帧间隔（毫秒）。

useHighQualityPreview

boolean

是否使用高清预览，否则SDK根据推流分辨率自动调整。

cameraCaptureFrameRate

number

预览分辨率。

useFrontCameraDefault

boolean

是否默认启动前置摄像头。

属性名

类型

描述

controller

XComponentController

渲染视图控制器。

viewMode

ARTCAICallAgentViewMode

画面渲染模式。

viewMirrorMode

ARTCAICallAgentViewMirrorMode

画面镜像模式。

viewRotationMode

ARTCAICallAgentViewRotationMode

画面旋转模式。

属性名

类型

描述

sessionId

string

关联的chat智能体会话Id。

agentId

string

关联的chat智能体Id（必须同一账号同一区域上），如果设置了，那么在通话过程中会把通话记录同步到chat智能体上。

receiverId

string

关联的chat智能体会话的用户Id。

属性名

类型

描述

text

string

请求多模态大模型时的文本参数。

enableASR

boolean

是否把人声的asr结果作为大模型的输入，如果为true，则使用人声asr结果与截帧一起送给大模型；反之，则使用text字段与截帧一起送给大模型。注意：仅在持续截帧时生效。

isSingle

boolean

为true时表示单次截帧，截帧后立即退出自定义截帧状态；为false时表示持续截帧，达到duration后会自动退出自定义截帧状态。

eachDuration

number

截帧间隔时长（秒）。

num

number

每次截帧的图片数量。

duration

number

持续截帧的时长（秒），如果isSingle=true，则忽略，否则达到该设定时长时会结束自定义截帧状态。

userData

string

json字符串，自定义业务信息，跟随text和图片帧一同传给大模型，用于企业做业务处理。

属性名

类型

描述

text

string

询问智能体的文本消息，例如：这是什么？

属性名

类型

描述

text

string

被智能体识别出的提问文本。

isSentenceEnd

boolean

当前文本是否为这句话的最终结果。

sentenceId

number

当前文本属于的句子ID。

voiceprintResult

ARTCAICallVoiceprintResult

当前声纹降噪识别结果反馈。

属性名

类型

描述

text

string

智能体回答的文本。

isSentenceEnd

boolean

当前文本是否为此次回答的最后一句。

userAsrSentenceId

number

回答用户问题的句子ID。

属性名

类型

描述

duration

number

多久前发送的（单位：毫秒）。

属性名

类型

描述

count

number

人数统计结果。

属性名

类型

描述

mobilePhoneCount

number

手机备数。

watchCount

number

手表备数。

headPhoneCount

number

耳机备数。

属性名

类型

描述

nodDetected

boolean

点头。

shakeDetected

boolean

摇头。

属性名

类型

描述

count

number

截止当前帧为止，发生视线偏移的总次数。

duration

number

截止当前帧为止，视线偏移的总时长（单位：毫秒）。

属性名

类型

描述

resultData

Record<string, RecordValueType>

智能体返回的所有的VCR检测结果。

stillFrameMotionResult

ARTCAICallAgentVcrFrameMotionResult

VCR的静音帧检测结果。

invalidFrameMotionResult

ARTCAICallAgentVcrFrameMotionResult

VCR的无效帧检测结果。

peopleCountResult

ARTCAICallAgentVcrPeopleCountResult

VCR的实时画面人数检测结果。

equipmentResult

ARTCAICallAgentVcrEquipmentResult

VCR的电子设备检测结果。

headMotionResult

ARTCAICallAgentVcrHeadMotionResult

VCR的头部动作检测结果。

lookAwayResult

ARTCAICallAgentVcrLookAwayResult

VCR的头部动作检测结果。

属性名

类型

描述

shareId

string

智能体分享ID。

agentType

ARTCAICallAgentType

智能体工作量类型。

expireTime

string

过期时间。

region

string

Agent所在区域。

属性名

类型

描述

agentInfo

ARTCAICallAgentInfo

分享智能体信息。

token

string

分享智能体启动Token。

属性名

类型

描述

agentGreeting

string

智能体欢迎语，为空表示使用智能体配置值。

wakeUpQuery

string

用户在通话启动前的指令，用于智能体在通话启动后立即响应，例如："今天天气怎么样？"。

agentMaxIdleTime

number

智能体闲时的最大等待时间（单位：秒），超时智能体自动下线，默认值为600s，-1则关闭自动下线（永远不会自动下线）。

userOnlineTimeout

number

用户未入会，智能体超时关闭任务的时间，默认值为60s，小于0则不会发给服务端（使用服务端默认值60s）。

userOfflineTimeout

number

用户退会后，智能体超时关闭任务的时间，默认值为5s，小于0则不会发给服务端（使用服务端默认值5s）。

enablePushToTalk

boolean

是否开启对讲机模式。

agentGracefulShutdown

boolean

是否优雅下线，优雅下线：当智能体被停止的时候，播报完当前说的话再停止，最多播报 10 秒。

volume

number

智能体说话的音量，范围为 0~400，输出音量=工作流中的语音输出音量 *

volume/100，默认值为100，小于0则不会发给服务端（使用服务端默认值100）。

workflowOverrideParams

Record<string, RecordValueType>

工作流覆盖参数。

enableIntelligentSegment

boolean

智能断句开关，开启智能断句后，用户说话的发生断句会智能合并成一句。

preConnectAudioUrl

string

接通后，播放欢迎语前的音效，支持url传入；播放完音效之后，欢迎语还是会播放。

asrConfig

ARTCAICallAgentAsrConfig

语音识别配置。

ttsConfig

ARTCAICallAgentTtsConfig

语音合成配置。

llmConfig

ARTCAICallAgentLlmConfig

大语言模型配置。

avatarConfig

ARTCAICallAgentAvatarConfig

数字人配置。

interruptConfig

ARTCAICallAgentInterruptConfig

打断配置。

voiceprintConfig

ARTCAICallAgentVoiceprintConfig

声纹降噪配置。

turnDetectionConfig

ARTCAICallAgentTurnDetectionConfig

轮次检测配置。

experimentalConfig

ARTCAICallExperimentalConfig

非产品化定制化配置。

vcrConfig

ARTCAICallAgentVcrConfig

VCR配置。

ambientConfig

ARTCAICallAgentAmbientConfig

环境配置。

backChannelingConfigs

ARTCAICallAgentBackChanneling[]

附和语功能配置模块。配置后，系统会在特定触发时机随机播报简短的附和语。

autoSpeechForLlmPendingConfig

ARTCAICallAgentAutoSpeechLlmPending

智能体在LLM 响应延迟时的播报自动讲话的配置。

autoSpeechForUserIdleConfig

ARTCAICallAgentAutoSpeechUserIdle

智能体在用户静默时问询的配置。

属性名

类型

描述

asrLanguageId

string

asr语种Id，为空表示使用智能体配置值。

asrMaxSilence

number

语音断句检测阈值，静音时长超过该阈值会被认为断句，参数范围

200ms～1200ms，默认值：-1：小于0表示跟随智能体默认配置（使用控制台配置值）。

asrHotWords

string[]

ASR热词列表。

vadLevel

number

设置AIVad的灵敏度参数，通过该参数的设定可以抗人声干扰。0表示关闭AIVad，默认值为11，小于0则不会发给服务端。

vadDuration

number

语音活动检测的最短持续时间阈值，用于控制打断的灵敏度。默认为0表示关闭此功能；有效范围：200到2000毫秒，常用[200,500]

对应1-4个字。，如果设置小于0则不会把该值发给服务端（服务端默认关闭此功能）。

customParams

string

自接入ASR时，传入运行时参数，使用URL参数形式，例如："mode=fast&sample=16000&format=wav"。

属性名

类型

描述

agentVoiceId

string

智能体讲话音色Id，为空表示使用智能体配置值。

pronunciationRules

Array<Record<string, RecordValueType>>

发音规则数组，最多支持 20 条规则。若为 nil 或空数组，则不使用任何规则。

speechRate

number

TTS播报语速，支持所有TTS类型，取值范围为[0.5,

2.0]，默认值为-1，小于0表示跟随智能体默认配置（使用控制台配置值）。

languageId

string

TTS播报语种代码，当TTS类型为MiniMax有效。

emotion

string

TTS播报情绪类型，当TTS类型为MiniMax有效。

modelId

string

TTS模型Id，当前仅支持minimax，可选值：speech-01-turbo / speech-02-turbo。

属性名

类型

描述

llmHistoryLimit

number

llm/mllm 历史对话上下文最大保留轮次，默认值为-1，小于0表示跟随智能体默认配置（使用控制台配置值）。

llmSystemPrompt

string

llm的系统提示词，例如："你是一位友好且乐于助人的助手，专注于为用户提供准确的信息和建议。"

注意：不支持LLM节点为百炼工作流类型。

bailianAppParams

Record<string, RecordValueType>

百炼应用中心参数。

llmCompleteReply

boolean

是否发送完整的LLM结果。开启后，LLM生成结果之后，会通过onLLMReplyCompleted事件回调完整llm结果。

openAIExtraQuery

string

额外的 OpenAI 协议 LLM 的查询参数，参数必须使用 key=value 格式，多个参数用 & 连接，所有值必须为字符串类型。

outputMinLength

number

文本输出最小长度（字符数），小于该长度的文本会被缓存等待拼接，范围[0,

100]，小于或等于0表示不限制，默认不限制。

outputMaxDelay

number

文本输出最大延迟时间（毫秒），超过该时间强制输出已缓存文本，。范围[1000,10000]，小于或等于0表示不限制，默认不限制。

historySyncWithTTS

boolean

大模型消息历史保存，是否和tts播放内容保持一致。默认false。开启后，保存的大模型消息和tts播放内容保持一致，允许有轻微误差。

属性名

类型

描述

agentAvatarId

string

数字人模型Id，为空表示使用智能体配置值。

属性名

类型

描述

enableVoiceInterrupt

boolean

是否开启智能打断。

interruptWords

string[]

触发对话打断的特定词汇或短语，例如："打断一下"、"我知道了"。

属性名

类型

描述

useVoiceprint

boolean

当前断句是否使用声纹降噪识别。

voiceprintId

string

声纹Id，如果不为空表示当前通话开启声纹降噪能力，为空表示不启用声纹降噪能力。

registrationMode

string

声纹的注册方式，Explicit：预注册模式，Implicit：无感注册模式，空值或其他值：等同于Explicit。

属性名

类型

描述

turnEndWords

string[]

断句特定词，例如："完毕"、"我讲完了"。如果设置了特定词，并且在讲话过程中触发，那么会把当前讲话的内容送给LLM。

mode

ARTCAICallTurnDetectionMode

判断用户说话是否结束模式，默认是Semantic，使用AI进行语义判断是否说话结束。

semanticWaitDuration

number

语义断句自定义等待时间，单位：毫秒，范围：[0,

10000]；如果小于0则不会发给服务端（使用服务端默认值-1，AI自动判断合适的等待时间）。

属性名

类型

描述

stillFrameMotion

ARTCAICallAgentVcrFrameMotionConfig

VCR的静音帧检测配置。

invalidFrameMotion

ARTCAICallAgentVcrFrameMotionConfig

VCR的无效帧检测配置。

peopleCount

ARTCAICallAgentVcrBaseConfig

VCR的实时画面人数检测配置。

equipment

ARTCAICallAgentVcrBaseConfig

VCR的电子设备检测配置。

headMotion

ARTCAICallAgentVcrBaseConfig

VCR的头部动作检测配置。

lookAway

ARTCAICallAgentVcrBaseConfig

VCR的视线偏移检测配置。

属性名

类型

描述

enable

boolean

是否启用，默认开启。

属性名

类型

描述

enable

boolean

是否启用，默认开启。

callbackDelay

number

多少毫秒后触发回调，默认3000ms。

属性名

类型

描述

isEnableBurstSend

boolean

是否开启音频非流式发送（SDK内部接口：sdk在启动通话时，且是语音智能体，且ARTCAICallBase.isEnableBurst=true时，会开启这个值）。

rtcSdkParams

Record<string, RecordValueType>

rtcsdk参数。

commonParams

Record<string, RecordValueType>

通用参数。

属性名

类型

描述

volume

number

背景音音量，默认为100。

resourceId

string

控制台注册背景音后的resourceid，空字符串表示关闭。

属性名

类型

描述

probability

number

触发概率。范围 0.0–1.0。

text

string

提示语文本，UTF-8 编码，示例："您还在吗？" 在附和语场景限制长度最长 20

字符。在自动回复场景限制长度为最长 100 字符。

属性名

类型

描述

waitTime

number

等待时长阈值，毫秒。超过此时长触发提示。范围 500–10000ms，不能为空。

messages

ARTCAICallAgentAutoSpeechContent[]

等待提示语集合，最大 10 条，每条长度 ≤ 100 字符，概率总和为1.0。

属性名

类型

描述

waitTime

number

静默时长阈值，毫秒。超过此时长触发问询。范围 5000–600000ms，建议10000。

maxRepeats

number

最大问询次数，范围 0–10，建议5。超过后不再触发，直接关闭通话。

messages

ARTCAICallAgentAutoSpeechContent[]

等待提示语集合，最大 10 条，每条长度 ≤ 100 字符，概率总和为1.0。

属性名

类型

描述

enabled

boolean

是否启用附和功能。

triggerStage

string

附和触发的时机。

probability

number

触发概率。范围 0.0–1.0。

words

ARTCAICallAgentAutoSpeechContent[]

等待提示语集合，最大 10 条，每条长度 ≤ 100 字符，概率总和为1.0。