数据结构

属性名

类型

描述

agentType

AICallAgentType

智能体类型

channelId

string

智能体所在的 RTC 频道 ID

userId

string

智能体进入 RTC 频道的唯一标识

instanceId

string

当前智能体运行的实例 ID

reqId

string

当前智能体启动的请求 ID

属性名

类型

描述

text

string

请求多模态大模型时的文本参数

isSingle

boolean

是否为单次截帧

eachDuration

number

截帧间隔时长（秒）

num

number

每次截帧的图片数量

duration

number

持续截帧的时长（秒），仅在持续截帧时生效

userData（可选）

string

JSON 字符串，自定义业务信息

属性名

类型

描述

text

string

询问智能体的文本消息，例如："这是什么?"

属性名

类型

描述

agentId

string

智能体 ID

agentType

AICallAgentType

智能体类型

agentUserId（可选）

string

智能体的 Uid，为空时由服务分配

region

string

智能体服务所在区域

userId

string

当前用户 ID

userJoinToken

string

当前用户的入会 Token

userData（可选）

string

用户自定义信息，最终传给智能体，建议使用 JSON 字符串

chatSyncConfig（可选）

AICallChatSyncConfig

关联的 chat 智能体配置

agentConfig（可选）

AICallAgentConfig

用于启动通话的agentConfig参数

templateConfig（可选）

AICallTemplateConfig（弃用）

已弃用，请使用 agentConfig

属性名

类型

描述

agentGreeting（可选）

string

智能体欢迎语，为空表示使用智能体配置值

userOnlineTimeout

number

用户未入会，智能体超时关闭任务的时间，小于0则使用服务端默认值 60s

userOfflineTimeout

number

用户退会后，智能体超时关闭任务的时间，小于0则使用服务端默认值 5s

workflowOverrideParams（可选）

object

工作流覆盖参数

bailianAppParams（可选）

object

百炼应用中心参数

asrMaxSilence

number

语音断句检测阈值，范围 200ms～1200ms，小于0使用服务端默认值 400ms

volume

number

智能体说话的音量，范围 0~400，输出音量 = 工作流中的语音输出音量 * volume / 100，小于0使用服务端默认值 100

vadLevel

number

设置AIVad的灵敏度参数，默认值为3，取值范围：[0,10]

enableVoiceInterrupt

boolean

是否开启智能打断

agentVoiceId（可选）

string

智能体讲话音色 ID，为空表示使用智能体配置值

enableIntelligentSegment

boolean

是否开启智能断句合并

useVoiceprint

boolean

当前断句是否使用声纹降噪识别

voiceprintId（可选）

string

声纹 ID，如果不为空表示当前通话开启声纹降噪能力

agentMaxIdleTime

number

智能体闲时的最大等待时间（单位：秒），小于0使用服务端默认值 600s

llmHistoryLimit

number

LLM/Multimodal LLM 历史对话上下文最大保留轮次，小于0使用服务端默认值 10

enablePushToTalk

boolean

是否开启对讲机模式

agentGracefulShutdown

boolean

是否优雅下线：播报完当前句子再停止

agentAvatarId（可选）

string

数字人模型 ID，为空表示使用智能体配置值

asrLanguageId（可选）

string

ASR 语种 ID，为空表示使用智能体配置值

wakeUpQuery（可选）

string

用户在通话启动前的指令，用于智能体在通话启动后立即响应

llmSystemPrompt（可选）

string

LLM 系统提示词，例如：“你是一位友好且乐于助人的助手...”注意：不支持 LLM 节点为百炼工作流类型

asrHotWords（可选）

Array<string>

ASR 热词列表

interruptWords（可选）

Array<string>

触发对话打断的特定词汇或短语，例如：“打断一下”、“我知道了”

属性名

类型

描述

agentGreeting（可选）

string

智能体欢迎语，为空表示使用智能体配置值，最大长度100字符

wakeUpQuery（可选）

string

用户在通话启动前的指令，用于智能体在通话启动后立即响应

agentMaxIdleTime

number

智能体闲时的最大等待时间（单位：秒），超时智能体自动下线，默认值为600s

userOnlineTimeout

number

用户未入会，智能体超时关闭任务的时间，默认值为60s

userOfflineTimeout

number

用户退会后，智能体超时关闭任务的时间，默认值为5s

enablePushToTalk

boolean

是否开启对讲机模式

agentGracefulShutdown

boolean

是否优雅下线：播报完当前句子再停止

volume

number

智能体说话的音量，范围为 0~400，默认值为100

workflowOverrideParams

JSONObject

工作流覆盖参数

enableIntelligentSegment

boolean

智能断句开关

asrConfig

AICallAgentAsrConfig

语音识别配置

ttsConfig

AICallAgentTtsConfig

语音合成配置

llmConfig

AICallAgentLlmConfig

大语言模型配置

avatarConfig

AICallAgentAvatarConfig

数字人配置

interruptConfig

AICallAgentInterruptConfig

打断配置

voiceprintConfig

AICallAgentVoiceprintConfig

声纹降噪配置

turnDetectionConfig

AICallAgentTurnDetectionConfig

轮次检测配置

experimentalConfig

JSONObject

非产品化定制化配置

vcrConfig

AICallAgentVcrConfig

VCR配置

属性名

类型

描述

sessionId

string

关联的 chat 智能体会话 ID

agentId

string

关联的 chat 智能体 ID（必须是同一账号同一区域）

receiverId

string

关联的 chat 智能体会话的用户 ID

属性名

类型

描述

shareId（可选）

string

智能体分享 ID

agentType

AICallAgentType

智能体工作量类型

expireTime（可选）

Date

过期时间

region（可选）

string

Agent 所在区域

templateConfig（可选）

string

模板配置（JSON 字符串）

userData（可选）

string

用户自定义信息，该信息最终传给智能体

属性名

类型

描述

asrLanguageId（可选）

string

asr语种Id，为空表示使用智能体配置值，可选：

• zh_mandarin 中文

• en 英文

• zh_en 中英混

• es 西班牙语

• jp 日语

asrMaxSilence

number

语音断句检测阈值，静音时长超过该阈值会被认为断句，默认值为400ms，参数范围 200ms～1200ms

asrHotWords（可选）

string[]

ASR热词列表，限制：500个词及以内，每个词不超过10个字符

vadLevel

number

设置AIVad的灵敏度参数，默认值为3，取值范围：[0,10]

customParams

string

自接入ASR时，传入运行时参数，使用URL参数形式，例如："mode=fast&sample=16000&format=wav"

vadDuration

number

语音活动检测的最短持续时间阈值，用于控制打断的灵敏度。默认为0表示关闭此功能；有效范围：200到2000毫秒，常用[200,500] 对应1-4个字。如果设置小于0则不会把该值发给服务端（服务端默认关闭此功能）

属性名

类型

描述

agentVoiceId（可选）

string

智能体讲话音色Id，为空表示使用智能体配置值

pronunciationRules

JSONObject[]

发音规则数组，最多支持 20 条规则。若为undefined或空数组，则不使用任何规则。示例如下：

 [
  {
      "Word": "重叠",                       // 目标词
      "Pronunciation": "宠叠",              // 替换发音
      "Type": "replacement"                // 多音字规则
  },
  {
      "Word": "行动",
      "Pronunciation": "航动",
      "Type": "replacement"
  }
]

speechRate

number

TTS播报语速，支持所有TTS类型，取值范围为[0.5, 2.0]，默认值为1.0，小于0则不会发给服务端（使用控制台配置值）

languageId

string

TTS播报语种代码，当TTS类型为MiniMax有效

emotion

string

TTS播报情绪类型，当TTS类型为MiniMax有效

modelId

string

TTS模型Id，当前仅支持minimax，可选值：speech-01-turbo / speech-02-turbo

属性名

类型

描述

llmHistoryLimit

number

历史对话上下文最大保留轮次，默认值为10

llmSystemPrompt（可选）

string

llm的系统提示词

bailianAppParams

JSONObject

百炼应用中心参数

llmCompleteReply

boolean

是否发送完整的LLM结果。

openAIExtraQuery（可选）

string

额外的 OpenAI 协议 LLM 的查询参数。

属性名

类型

描述

agentAvatarId（可选）

string

数字人模型Id，为空表示使用智能体配置值

属性名

类型

描述

enableVoiceInterrupt

boolean

是否开启智能打断

interruptWords（可选）

string[]

触发对话打断的特定词汇或短语

属性名

类型

描述

useVoiceprint

boolean

当前断句是否使用声纹降噪识别

voiceprintId（可选）

string

声纹Id，如果不为空表示当前通话开启声纹降噪能力

属性名

类型

描述

turnEndWords（可选）

string[]

断句特定词，例如：“完毕”、“我讲完了”

mode

AICallTurnDetectionMode

判断用户说话是否结束模式，默认是Semantic，使用AI进行语义判断是否说话结束

semanticWaitDuration

number

语义断句自定义等待时间，单位：毫秒，范围：[0, 10000]；如果小于0则不会发给服务端（使用服务端默认值-1，AI自动判断合适的等待时间）

属性名

类型

描述

data

JSONObject

智能体返回的所有的VCR检测结果

stillFrameMotion

FrameMotionResult

画面固定检测结果

invalidFrameMotion

FrameMotionResult

无效画面检测结果

peopleCount

PeopleCountResult

人数检测结果

equipment

EquipmentResult

电子设备检测结果

headMotion

HeadMotionResult

头部运动检测结果

属性名

类型

描述

data

JSONObject

当用户传json对象进来时，缓存起来，后面生成json字符串时，使用该对象，这样可以做到自定义扩展

stillFrameMotion

AICallAgentVcrFrameMotionConfig

VCR的静止帧检测配置

invalidFrameMotion

AICallAgentVcrFrameMotionConfig

VCR的无效帧检测配置

peopleCount

AICallAgentVcrBaseConfig

VCR的实时画面人数检测配置

equipment

AICallAgentVcrBaseConfig

VCR的电子设备检测配置

headMotion

AICallAgentVcrBaseConfig

VCR的头部动作检测配置

属性名

类型

描述

enable

boolean

是否启用

属性名

类型

描述

callbackDelay

number

多少毫秒后触发回调，默认3000ms