服务端事件_大模型服务平台百炼(Model Studio)-阿里云帮助中心

本文介绍 qwen3-livetranslate-flash-realtime API 的服务端事件。

error

服务端返回的错误信息。

字段	类型	说明
type	string	事件类型，该事件下固定为`error`。
error	object	错误的详细信息。
error.type	string	错误类型。
error.code	string	错误码。
error.message	string	错误信息。
error.param	string	与错误相关的参数，如`session.modalities`。

{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

session.created

当客户端连接到服务端后，服务端响应的第一个事件，该事件返回时会携带服务端对此次连接的默认配置信息。

字段	类型	说明
type	string	事件类型，该事件下固定为session.created。
session	object	session相关会话配置。
session.object	string	固定为realtime.session。
session.model	string	使用的模型。
session.modalities	array	模型输出模态设置，支持设置["text"]或["text","audio"]，不支持单独设置为["audio"]。
session.voice	string	模型生成音频时对应的音色。
session.input_audio_format	string	用户输入语音设置，当前固定为“pcm16”。
session.output_audio_format	string	模型输出音频的格式，当前不支持设置。
session.translation	object	翻译相关配置。
session.translation.language	string	设置的翻译目标语言。

{
    "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
    "type": "session.created",
    "session": {
        "id": "sess_OozZ1vtbPt2muDflHODIH",
        "object": "realtime.session",
        "model": "qwen3-livetranslate-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm16",
        "translation": {
           "language": "en"
        }
    }
}

session.updated

当接受到用户的session.update请求并正确处理后返回。如果出现错误，则直接返回error事件。

字段	类型	说明
type	string	事件类型，该事件下固定为`session.updated`。
session	object	session配置。
session.modalities	array	模型输出模态设置，支持设置["text"]（仅输出文本）或["text","audio"]（输出音频和文本）。
session.voice	string	模型生成音频的音色。
session.input_audio_format	string	用户输入音频的格式，当前只支持设置为"pcm16"。
session.output_audio_format	string	模型输出音频的格式，当前只支持设置为"pcm16"。
session.translation	object	翻译配置。
session.translation.language	string	翻译的目标语种。

{
    "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
    "type": "session.updated",
    "session": {
        "id": "sess_OozZ1vtbPt2muDflHODIH",
        "object": "realtime.session",
        "model": "qwen3-livetranslate-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Ethan",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm16",
        "translation": {
           "language": "en"
        }
    }
}

response.created

当服务端生成新的模型响应时，会先发送此事件。

字段	类型	说明
type	string	该事件下固定为response.created。
response	object	response对象。
response.id	string	此response的唯一id。
response.object	string	对象类型，此事件下固定为realtime.response。
response.status	string	response状态，取值范围： completed（已完成） failed（失败） in_progress（进行中） incomplete（不完整）
response.modalities	array	response模态。
response.voice	string	模型生成audio时对应的voice name。
response.output_audio_format	string	模型输出音频的格式，固定为"pcm16"。
response.output	array	response的output内容，此事件下目前为空。

{
    "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
    "type": "response.created",
    "response": {
        "id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "object": "realtime.response",
        "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm16",
        "output": []
    }
}

response.done

当响应生成完成时，服务端会返回此事件。该事件中包含的 Response 对象将包含 Response 中的所有输出项，但不包括已返回的原始音频数据。

字段	类型	说明
type	string	固定为response.done。
response	object	response对象。
response.id	string	此response的唯一id。
response.object	string	对象类型，此事件下固定为realtime.response。
response.conversation_id	string	当前会话的唯一id。
response.status	string	response状态。
response.modalities	array	response模态。
response.voice	string	模型生成audio时的音色。
response.output	array	response的output内容。
response.output.id	string	输出item对应的itemId。
response.output.object	string	输出item的对象类型，当前固定为"realtime.item"。
response.output.type	string	输出item的类型，当前固定为"message"。
response.output.status	string	输出item的状态，取值范围["completed","incompleted"]。
response.output.role	string	输出item的角色，取值范围["user","assistant","system"]。
response.output.content	object	输出item的具体内容。返回type=audio， transcript={大模型推理结果}；
response.usage	object	本次response对应的usage信息。

{
  "event_id": "event_CNea8oXNipVanSg2VIzkO",
  "type": "response.done",
  "response": {
    "id": "resp_TfhYTqej692vsGA2jNEtH",
    "object": "realtime.response",
    "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
    "status": "completed",
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "output_audio_format": "pcm16",
    "output": [
      {
        "id": "item_MKtkMwN9RtcyE9eJShyWy",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "audio",
            "transcript": "Hello? "
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 56,
      "input_tokens": 47,
      "output_tokens": 9,
      "input_tokens_details": {
        "text_tokens": 20,
        "audio_tokens": 27
      },
      "output_tokens_details": {
        "text_tokens": 2,
        "audio_tokens": 7
      }
    }
  }
}

response.text.text

模型增量生成新的文本时，系统会返回服务器 response.text.text 事件。

字段	类型	说明
type	string	固定为response.text.text。
item_id	string	消息项id，可以关联同一个消息item。
output_index	integer	response中输出项的索引, 目前固定为0。
content_index	integer	response中输出项中内部部分的索引, 目前固定为0。
text	string	返回的文本。

{
    "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
    "type": "response.text.text",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How are"
}

response.text.done

当模型生成的文本结束时，系统会返回服务器 response.text.done 事件。

当响应中断、不完整或取消时，系统也会返回此事件。

字段	类型	说明
type	string	固定为response.text.done。
response_id	string	response_id，可以关联同一个response的所有输出。
item_id	string	消息项id，可以关联同一个消息item。
output_index	integer	response中输出项的索引。
content_index	integer	response中输出项中内部部分的索引。
text	string	模型输出的最终完整文本。

{
    "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
    "type": "response.text.done",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How can I assist you today?"
}

response.audio.delta

当模型增量生成新的audio数据时，系统会返回服务器 response.audio.delta 事件。

字段	类型	说明
type	string	固定为response.audio.delta。
response_id	string	response_id，可以关联同一个response的所有输出。
item_id	string	消息项id，可以关联同一个消息item。
output_index	integer	response中输出项的索引, 目前固定为0。
content_index	integer	response中输出项中内部部分的索引, 目前固定为0。
delta	string	模型增量输出的audio数据，使用base64编码。

{
    "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
    "type": "response.audio.delta",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "delta": "{base64 audio}"
}

response.audio.done

当模型完成生成audio数据时，系统会返回服务器 response.audio.done 事件。

当响应中断、不完整或取消时，系统也会返回此事件。

字段	类型	说明
type	string	固定为response.audio.done。
response_id	string	response_id，可以关联同一个response的所有输出。
item_id	string	消息项id，可以关联同一个消息item。
output_index	integer	response中输出项的索引, 目前固定为0。
content_index	integer	response中输出项中内部部分的索引, 目前固定为0。

{
    "event_id": "event_B1osWMWoDRYyITDyNYcBu",
    "type": "response.audio.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0
}

response.audio_transcript.delta

当模型增量生成新的audio对应的文本时，系统会返回服务器 response.audio_transcript.delta 事件。

字段	类型	说明
type	string	固定为response.audio_transcript.delta。
response_id	string	response_id，可以关联同一个response的所有输出。
item_id	string	消息项id，可以关联同一个消息item。
output_index	integer	response中输出项的索引, 目前固定为0。
content_index	integer	response中输出项中内部部分的索引, 目前固定为0。
delta	string	增量文本。

{
    "event_id": "event_OcoAVmmbMQnirKeVFag9x",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "delta": "你好"
}

response.audio_transcript.done

当模型完成生成新的audio对应的文本时，系统会返回服务器 response.audio_transcript.done 事件。

字段	类型	说明
type	string	固定为response.audio_transcript.done。
response_id	string	response_id，可以关联同一个response的所有输出。
item_id	string	消息项id，可以关联同一个消息item。
output_index	integer	response中输出项的索引, 目前固定为0。
content_index	integer	response中输出项中内部部分的索引, 目前固定为0。
transcript	string	最终完整文本。

{
    "event_id": "event_VN4Q4GJugLcc1S23viW8E",
    "type": "response.audio_transcript.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
    "output_index": 0,
    "content_index": 0,
    "transcript": "你好，我是阿里云研发的大规模语言模型，我叫通义千问。有什么我可以帮助你的吗？"
}

response.output_item.added

当新的item项需要输出时，服务端返回此事件。

字段	类型	说明
type	string	固定为response.output_item.added。
response_id	string	response_id，可以关联同一个response的所有输出。
output_index	integer	response中输出项的索引, 目前固定为0。
item	object	输出项信息。
item.id	string	输出项的唯一ID。
item.object	string	始终为 `realtime.item` 。
item.type	string	始终为`message`。
item.status	string	输出项的状态。
item.role	string	消息发送的角色。
item.content	array	消息的内容。

{
    "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
    "type": "response.output_item.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

response.output_item.done

当新的item输出完成时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.output_item.done`。
response_id	string	响应的ID。
output_index	integer	response中输出项的索引, 目前固定为0。
item	object	输出项信息。
item.id	string	输出项的唯一ID。
item.object	string	始终为 `realtime.item` 。
item.type	string	始终为`message`。
item.status	string	输出项的状态。
item.role	string	消息发送的角色。
item.content	array	消息的内容。

{
    "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
    "type": "response.output_item.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_JvJauNH2CTXb1D9WV6pD4",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "你好，我是阿里云研发的大规模语言模型，我叫通义千问。有什么我可以帮助你的吗？"
            }
        ]
    }
}

response.content_part.added

当新的内容项需要输出时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.content_part.added`。
response_id	string	响应的ID。
item_id	string	消息项ID。
output_index	integer	响应输出项的索引, 目前固定为0。
content_index	integer	响应输出项中内部部分的索引, 目前固定为0。
part	object	已完成的内容部分。
part.type	string	内容部分的类型。
part.text	string	内容部分的文本。

{
    "event_id": "event_J2UixwYKZsXg7c9YXZetL",
    "type": "response.content_part.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.content_part.done

当新的内容项输出完成时，服务端返回此事件。

字段	类型	说明
type	string	固定为`response.content_part.done`。
response_id	string	响应的ID。
item_id	string	消息项ID。
output_index	integer	响应输出项的索引, 目前固定为0。
content_index	integer	响应输出项中内部部分的索引, 目前固定为0。
part	object	已完成的内容部分。
part.type	string	内容部分的类型。
part.text	string	内容部分的文本。

{
    "event_id": "event_FdVUyXIa8WVk4BZJv8swq",
    "type": "response.content_part.done",
    "response_id": "resp_QeZcSlvzRmmjIURRMafY8",
    "item_id": "item_HvJYzNHXC1MnzvgBfIxJD",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "我也不太清楚现在几点了呢。你可以看看手机或者时钟呀。要是还有别的事想聊聊也可以跟我说哦。"
    }
}