服务端事件_大模型服务平台百炼(Model Studio)-阿里云帮助中心

本文介绍 qwen3-livetranslate-flash-realtime API 的服务端事件。

相关文档：实时音视频翻译-通义千问。

error

服务端返回的错误信息。

字段	类型	说明
type	string	事件类型，固定为`error`。
error	object	错误的详细信息。
error.type	string	错误类型。
error.code	string	错误码。
error.message	string	错误信息。
error.param	string	与错误相关的参数，如`session.modalities`。

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

session.created

客户端连接服务端后，服务端会立即发送该事件，包含此次连接的默认配置信息。

字段	类型	说明
type	string	事件类型，固定为`session.created`。
session	object	会话的配置。
session.object	string	固定为`realtime.session`。
session.model	string	使用的模型。
session.modalities	array	模型输出模态设置。
session.voice	string	模型生成音频的音色。
session.input_audio_format	string	用户输入音频格式，固定为“pcm16”。
session.output_audio_format	string	输出音频格式，固定为“pcm16”。
session.translation	object	翻译配置。
session.translation.language	string	翻译目标语言。

{
    "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
    "type": "session.created",
    "session": {
        "id": "sess_OozZ1vtbPt2muDflHODIH",
        "object": "realtime.session",
        "model": "qwen3-livetranslate-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm16",
        "translation": {
           "language": "en"
        }
    }
}

session.updated

接受到客户端的session.update事件并正确处理后，服务端返回的信息。

字段	类型	说明
type	string	事件类型，固定为`session.updated`。
session	object	会话配置。
session.modalities	array	模型输出模态设置。
session.voice	string	模型生成音频的音色。
session.input_audio_format	string	用户输入音频格式，固定为“pcm16”。
session.output_audio_format	string	输出音频格式，固定为“pcm16”。
session.translation	object	翻译配置。
session.translation.language	string	翻译的目标语种。

{
    "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
    "type": "session.updated",
    "session": {
        "id": "sess_OozZ1vtbPt2muDflHODIH",
        "object": "realtime.session",
        "model": "qwen3-livetranslate-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Ethan",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm16",
        "translation": {
           "language": "en"
        }
    }
}

response.created

服务端创建模型响应时发送此事件。

字段	类型	说明
type	string	固定为`response.created`。
response	object	响应对象。
response.id	string	响应的唯一标识符。
response.object	string	固定为`realtime.response`。
response.status	string	响应状态，取值范围： completed（已完成） failed（失败） in_progress（进行中） incomplete（不完整）
response.modalities	array	响应模态。
response.voice	string	模型生成音频的音色。
response.output_audio_format	string	模型输出音频的格式，固定为"pcm16"。
response.output	array	此事件下固定为空。

{
    "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
    "type": "response.created",
    "response": {
        "id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "object": "realtime.response",
        "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm16",
        "output": []
    }
}

response.done

响应生成完成后，服务端会返回此事件。

不包括已返回的原始音频数据。

字段	类型	说明
type	string	固定为`response.done`。
response	object	响应对象。
response.id	string	响应的唯一标识符。
response.object	string	固定为`realtime.response`。
response.conversation_id	string	当前会话的唯一标识符。
response.status	string	响应状态，取值范围： completed（已完成） failed（失败） in_progress（进行中） incomplete（不完整）
response.modalities	array	响应模态。
response.voice	string	模型生成音频的音色。
response.output	array	响应的输出内容，包含输出文本与 Token 消耗信息。
response.output.id	string	输出项对应的唯一标识符。
response.output.object	string	输出项的对象类型，固定为`realtime.item`。
response.output.type	string	输出项的类型，固定为`message`。
response.output.status	string	输出项的状态，取值范围： `completed`（已完成） `incompleted`（未完成）
response.output.role	string	输出项的角色，取值范围： user assistant system
response.output.content	object	输出项的内容。`type` 固定为`audio`，`transcript`为翻译后的文本。
response.usage	object	响应的 Token 消耗信息。

{
  "event_id": "event_CNea8oXNipVanSg2VIzkO",
  "type": "response.done",
  "response": {
    "id": "resp_TfhYTqej692vsGA2jNEtH",
    "object": "realtime.response",
    "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
    "status": "completed",
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "output_audio_format": "pcm16",
    "output": [
      {
        "id": "item_MKtkMwN9RtcyE9eJShyWy",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "audio",
            "transcript": "Hello? "
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 56,
      "input_tokens": 47,
      "output_tokens": 9,
      "input_tokens_details": {
        "text_tokens": 20,
        "audio_tokens": 27
      },
      "output_tokens_details": {
        "text_tokens": 2,
        "audio_tokens": 7
      }
    }
  }
}

response.text.text

当输出模态仅包含文本，且模型增量生成新的文本时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.text.text`。
response_id	string	响应的唯一标识符。
item_id	string	消息项唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
text	string	返回的增量文本。

{
    "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
    "type": "response.text.text",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How are"
}

response.text.done

当输出模态仅包含文本，且模型生成的文本结束时，服务端返回此事件。

当响应中断、不完整或取消时，服务端也会返回此事件。

字段	类型	说明
type	string	固定为`response.text.done`。
response_id	string	响应的唯一标识符。
item_id	string	消息项唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
text	string	返回的完整翻译文本。

{
    "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
    "type": "response.text.done",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How can I assist you today?"
}

response.audio.delta

当输出模态包含音频，且模型增量生成新的音频数据时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.audio.delta`。
response_id	string	响应的唯一标识符。
item_id	string	消息项唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
delta	string	模型增量输出的 Base64 编码的音频数据。

{
    "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
    "type": "response.audio.delta",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "delta": "UklGRnoGAABXQVZFZm10IBAAAAAB..."
}

response.audio.done

当输出模态包含音频，且模型生成音频结束时，服务端返回此事件。

当响应中断、不完整或取消时，服务端也会返回此事件。

该事件不返回完整音频数据。

字段	类型	说明
type	string	固定为`response.audio.done`。
response_id	string	响应的唯一标识符。
item_id	string	消息项唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。

{
    "event_id": "event_B1osWMWoDRYyITDyNYcBu",
    "type": "response.audio.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0
}

response.audio_transcript.delta

当输出模态包含音频，且模型增量生成新的文本时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.audio_transcript.delta`。
response_id	string	响应的唯一标识符。
item_id	string	消息项唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
delta	string	增量文本。

{
    "event_id": "event_OcoAVmmbMQnirKeVFag9x",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "delta": "How can"
}

response.audio_transcript.done

当输出模态包含音频，且模型生成文本结束时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.audio_transcript.done`。
response_id	string	响应的唯一标识符。
item_id	string	消息项唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
transcript	string	完整翻译文本。

{
    "event_id": "event_VN4Q4GJugLcc1S23viW8E",
    "type": "response.audio_transcript.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
    "output_index": 0,
    "content_index": 0,
    "transcript": "How can I assist you today?"
}

response.output_item.added

当新的项需要输出时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.output_item.added`。
response_id	string	响应的唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
item	object	输出项信息。
item.id	string	输出项的唯一ID。
item.object	string	固定为 `realtime.item` 。
item.type	string	固定为`message`。
item.status	string	输出项的状态。
item.role	string	消息发送的角色。
item.content	array	消息的内容。

{
    "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
    "type": "response.output_item.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

response.output_item.done

当新的项输出完成时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.output_item.done`。
response_id	string	响应的唯一标识符。
output_index	integer	响应中输出项的索引, 固定为0。
item	object	输出项信息。
item.id	string	输出项的唯一ID。
item.object	string	始终为 `realtime.item` 。
item.type	string	始终为`message`。
item.status	string	输出项的状态。
item.role	string	消息发送的角色。
item.content	array	消息的内容。

{
    "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
    "type": "response.output_item.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_JvJauNH2CTXb1D9WV6pD4",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "你好，我是阿里云研发的大规模语言模型，我叫通义千问。有什么我可以帮助你的吗？"
            }
        ]
    }
}

response.content_part.added

当新的内容部分输出时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.content_part.added`。
response_id	string	响应的唯一标识符。
item_id	string	输出项的唯一ID。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
part	object	已完成的内容部分。
part.type	string	内容部分的类型。
part.text	string	内容部分的文本。

{
    "event_id": "event_J2UixwYKZsXg7c9YXZetL",
    "type": "response.content_part.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.content_part.done

当新的内容部分输出完成时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.content_part.done`。
response_id	string	响应的唯一标识符。
item_id	string	输出项的唯一ID。
output_index	integer	响应中输出项的索引, 固定为0。
content_index	integer	响应中输出项中内部部分的索引, 固定为0。
part	object	已完成的内容部分。
part.type	string	内容部分的类型。
part.text	string	内容部分的文本。

{
    "event_id": "event_FdVUyXIa8WVk4BZJv8swq",
    "type": "response.content_part.done",
    "response_id": "resp_QeZcSlvzRmmjIURRMafY8",
    "item_id": "item_HvJYzNHXC1MnzvgBfIxJD",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "我也不太清楚现在几点了呢。你可以看看手机或者时钟呀。要是还有别的事想聊聊也可以跟我说哦。"
    }
}