应用观测

端到端查看应用处理流程，获取延时、Token、QPM 等监控与限流指标。

阿里云百炼应用内部的多节点架构为后续开发带来诸多挑战，例如：

• 追踪应用内部调用链路
• 查看模型响应延时
• 查看模型思考过程

通过应用观测功能，可端到端观测业务空间内阿里云百炼应用的处理流程（如大模型调用、MCP 调用、向量检索等），并查看延时、Token 量等监控指标，QPM 等限流指标（更新频率为分钟级）。

应用观测目前暂无 API。

支持的应用

智能体应用（包含 Agent 1.0 和 Agent 2.0）、工作流应用。

应用观测目前暂不支持通过 Assistant API 创建的智能体应用。

开始使用

前提条件

首次使用应用观测时，请点击应用观测页面右上角的应用观测配置，根据指引完成以下步骤：

1. 授权可观测链路 OpenTelemetry 服务角色权限。
2. 开通可观测链路 OpenTelemetry 服务。
3. 初始化可观测链路 OpenTelemetry 存储 LogStore。

使用方法

1. 开启应用观测

访问应用观测，在列表中找到对应应用，点击开启观测。如果列表中没有已创建的应用，可能是因为：

• 该应用尚未发布。
• 该应用不属于当前业务空间。

2. 开始观测

1. 应用开启观测后，所有在该应用中输入的 Prompt 及其相应的数据和指标将被自动追踪，并同步至应用观测（频率为分钟级）。

   点击关闭观测后，应用的追踪数据将停止同步。重新开启后仅同步新增数据。

2. 点击操作列的查看详情，进入应用详情页。页面默认显示 Trace 列表页签，可查看过往（最长可选 30 天）所有在该应用中输入的 Prompt 的内容、输出、延时、调用时间以及 Token 量等概要信息。

   支持基于 Request ID、Trace ID 或 Span ID 进行搜索，以及指定时间范围进行筛选。

3. 点击指定节点的 Trace ID，即可查看详情、原始数据、标注记录等信息（如有下属节点，支持展开）。

3. 导出数据

在应用详情页的 Trace 列表页签右上角，点击导出数据，可将当前筛选条件下的数据导出（JSONL 或 EXCEL 格式）。

4. 查看监控统计

在应用详情页，点击监控统计页签，可查看、下载该应用的性能监控数据，包括：

• 总览：应用调用次数、Token 总量、平均调用时长、平均首 Token 耗时、错误数等指标数值及同比。
• 调用分析：调用数、错误数、平均调用耗时趋势图。
• Token 分析：全部 Token 总量、输入 Token 总量、输出 Token 总量、平均单次输入请求 Token 量、平均单次输出请求 Token 量、平均首 Token 耗时、平均调用时长等指标值，以及各模型 Token 消耗趋势。
• 模型分析：各模型调用量分布、各模型调用量趋势、各模型调用错误趋势、各模型 TTFT 趋势。
• 工具调用分析：各工具调用量分布、各工具调用量趋势、各工具调用耗时趋势、各工具调用错误数趋势。

支持按时间范围（最长 30 天）和聚合粒度（按分钟、按小时、按天）查看数据。

5. 查看限流统计

在应用详情页，点击限流统计页签，可查看、下载该应用的限流监控数据，包括：

• 应用：QPM 限流、QPM 限流次数等。
• 支持快速配置告警规则，支持发起工单申请限流扩容。

添加到评测集

应用观测支持将 Span 数据直接添加到评测集，用于后续的应用评测。通过此功能，可以将真实的线上调用数据作为评测样本，构建更贴近实际业务场景的评测集。

1. 在应用观测列表中，点击指定应用右侧的查看详情进入 Span 列表页，再点击批量操作，勾选需要添加到评测集的 Span 数据（支持多选）。
2. 点击添加到评测集按钮，进入配置页：
   • 选择目标评测集和目标评测集名称：可选择已有评测集或新建评测集。
   • 导入方式：支持追加数据或全量覆盖两种方式。
   • 字段映射：将 Span 数据中的字段映射到评测集字段。
3. 配置完成后，点击开始导入。

字段映射支持从 Span 的完整参数中选择。每个评测集最多支持 50 个字段映射。