应用观测-大模型服务平台百炼(Model Studio)-阿里云帮助中心

阿里云百炼应用内部的多节点架构为后续开发带来诸多挑战，例如：

追踪应用内部调用链路
查看模型响应延时
查看模型思考过程

通过应用观测功能，您可端到端查看业务空间内阿里云百炼应用的处理流程（如向量生成、向量检索和大模型调用）并获取延时、Token量等指标（更新频率为分钟级）。

应用观测目前暂无API。

效果示例

追踪应用内部的调用过程	查看模型的响应延时	查看模型的思考过程

支持的应用

智能体应用、工作流应用和高代码应用。

应用观测目前暂不支持通过Assistant API创建的智能体应用。

开始使用

前提条件

首次使用应用观测时，请根据界面指引开通模型调用服务、可观测链路OpenTelemetry和相关策略。

请使用主账号操作，开通后通常分钟级生效，但高峰期可能会稍有延迟。

如需使用子账号开通，需主账号为该子账号配置必要权限。

使用方法

1. 选择被观测的应用

访问应用观测，单击选择被观测的应用 > 添加。如果列表中没有您已创建的应用，可能是因为：

该应用尚未发布。
您可以单击管理应用，在列表中找到您想要发布的应用后，单击管理 > 发布。
该应用不属于当前业务空间。

2. 开始观测

添加完成后，被观测的应用将出现在应用观测列表中。所有在该应用中输入的Prompt及其相应的数据和指标将被自动追踪，并同步至应用观测（频率为分钟级）。
单击关闭观测后，应用的追踪数据将停止同步。重新添加后仅同步新增数据。
应用总量、应用平均延时等指标能帮助您优化应用的运营效果和成本。

单击操作列的查看详情，查看过往（最长可选30天）所有在该应用中输入的Prompt的内容、输出、延时、调用时间以及Token量（说明参见附录）等概要信息。
互动式体验：列表中的CHAIN节点表示一次完整的应用内部调用追踪，支持展开。查看应用观测支持的所有节点类型。
状态：包括正常和错误。
支持基于Request ID、Trace ID或Span ID进行搜索，以及指定时间范围进行筛选。
如何获取 ID：单击指定节点的名称即Span Name列内容（如AgentApp），展开节点详情后，再单击查看 ID，可查看Request ID、Trace ID和Span ID。
表头设置：单击列表右上角的表头编辑按钮，可以自定义显示的字段列。

单击指定节点的名称，即可查看详情、原始数据、标注记录等信息（如有下属节点，支持展开）。

添加到评测集

应用观测支持将Span数据直接添加到评测集，用于后续的应用评测。通过此功能，您可以将真实的线上调用数据作为评测样本，构建更贴近实际业务场景的评测集。

在应用观测列表中，点击指定应用右侧的查看详情进入Span列表页，再点击批量操作，勾选需要添加到评测集的Span数据（支持多选）。
单击添加到评测集按钮，进入配置页：
- 选择目标评测集和目标评测集名称：可选择已有评测集或新建评测集。
- 导入方式：支持追加数据或全量覆盖两种方式。
- 字段映射：将Span数据中的字段映射到评测集字段。新建评测集时，默认提供input和output两个字段，支持添加更多自定义字段。选择已有评测集时，会自动带出已有的表头信息。
配置完成后，单击开始导入，完成后会显示“添加到评测集完成”提示。
字段映射支持从Span的完整参数中选择。每个评测集最多支持50个字段映射。

数据标注

应用观测支持对Span数据进行标签标注，便于后续的数据分析、筛选和评测。标签与应用评测中的标签管理功能共享，统一管理。

添加标注

在应用观测列表中，点击指定应用右侧的查看详情进入Span列表页，点击指定节点的名称即Span Name列内容（如AgentApp）进入数据详情页，单击数据标注按钮，即可为当前节点添加自定义标签。
在弹出的侧边栏中，选择要添加的标签。如需创建新标签，单击新建标签跳转到标签管理页面。
根据标签类型进行标注：
- 布尔值：是/否二选一
- 分类：下拉多选
- 数字：数字输入框
- 文本：文本输入框

标注内容会立即自动保存。

查看标注

保存数据标注后，在Span列表页的标签列可以查看已标注的内容。多个标签的标注结果会分行显示在同一区域。

查看数据

应用观测支持多维度的Span数据筛选，帮助您快速定位目标数据。

Span筛选模式

Root Span：仅显示根节点，即每次调用的入口Span（默认模式）
All Span：显示所有Span，平铺展示
Model Span：仅显示包含模型调用的Span

过滤器：添加筛选条件

点击过滤器，然后点击添加筛选条件，可添加多个条件。
完成条件添加后，点击应用即可过滤出指定Span数据。

筛选类型	筛选字段	支持的条件
状态	正常、错误（可按错误类型细分）	选择
输入/输出	手动输入关键词	包含、不包含、等于、不等于
延时	手动输入数值（毫秒）	等于、大于、小于、大于等于、小于等于
Token量	Token总量、输入Token、输出Token	等于、大于、小于、大于等于、小于等于
标签	用户已添加的标签	根据标签类型：分类（包含/不包含/等于/不等于）、布尔值（等于/不等于）、数字（数值比较）、文本（包含/不包含/等于/不等于）

计费说明

应用观测功能本身不收费。
应用观测产生的数据需要存储在可观测链路OpenTelemetry服务中，您需要支付相关的费用。关于OpenTelemetry服务的费用详情，请参见计费说明。

附录

名词解释

名词	解释
节点	在应用观测中，节点是指被追踪的一个操作单元。每个节点具有名称和类型等属性，并详细记录了操作的具体信息和起止时间。另外，节点之间还可以形成嵌套关系。

支持的节点类型

注意：以下节点仅在被触发或调用时展示。

智能体应用

节点类型	说明
CHAIN	Chain节点将大模型节点与其他类型的节点相连接，以实现复杂任务的处理。 Chain节点可以包含其它类型节点，例如Retriever、LLM等。当Chain作为根节点时，名称可能值为：AgentApp（智能体应用）、WorkflowApp（工作流应用）。
AGENT	Agent节点表示对智能体的调用。
RETRIEVER	Retriever节点用于执行检索操作。KnowledgeRetriever表示在知识库中进行检索。目前暂不支持观测在长期记忆中的检索过程。作为KnowledgeRetriever的子节点时，Retriever有两种名称： TextRetriever：指触发了文本检索，文本相似度计算采用改进后的BM25算法，默认返回100个文本切片，暂不支持数量调整。 VectorRetriever：指触发了向量检索，默认返回100个文本切片，暂不支持数量调整。
REWRITER	Rewriter节点会基于会话上下文自动调整原始输入Prompt以提升知识检索效果。
EMBEDDING	Embedding节点用于将输入Prompt转化为数值化向量。 Token量指Embedding模型本次向量化了多少Token。
RERANKER	Reranker节点会计算每个输入文本切片的相似度分数并按此降序排列。
LLM	LLM节点表示调用大模型（如通义千问Plus）进行推理或者文本生成。 Token量指模型输入Token数 + 模型输出Token数。 LLM节点的延时（调用时长）包括输出回复的过程。
TOOL	Tool节点表示对插件的调用，支持官方插件和自定义插件，详见插件概述。例如调用计算器或者夸克搜索。
GUARDRAIL	Guardrail节点表示对阿里绿网的调用，用于实时监控、检测和拦截多种违规内容，例如赌博、色情等。 ManualIntervention指触发了您为智能体应用设定的干预规则；SystemIntervention指触发了系统干预规则。

工作流应用

节点类型	说明
CHAIN	Chain节点将大模型节点与其他类型的节点相连接，以实现复杂任务的处理。 Chain节点可以包含其它类型节点，例如Retriever、LLM等。当Chain作为根节点时，名称可能值为：AgentApp（智能体应用）、WorkflowApp（工作流应用）。
START	表示开始节点。
RETRIEVER	Retriever节点用于执行检索操作。KnowledgeRetriever表示在知识库中进行检索。目前暂不支持观测在长期记忆中的检索过程。作为KnowledgeRetriever的子节点时，Retriever有两种名称： TextRetriever：指触发了文本检索，文本相似度计算采用改进后的BM25算法，默认返回100个文本切片，暂不支持数量调整。 VectorRetriever：指触发了向量检索，默认返回100个文本切片，暂不支持数量调整。
REWRITER	Rewriter节点会基于会话上下文自动调整原始输入Prompt以提升知识检索效果。
EMBEDDING	Embedding节点用于将输入Prompt转化为数值化向量。 Token量指Embedding模型本次向量化了多少Token。
RERANKER	Reranker节点会计算每个输入文本切片的相似度分数并按此降序排列。
LLM	表示大模型节点。 Token量指模型输入Token数 + 模型输出Token数。 LLM节点的延时（调用时长）包括输出回复的过程。
API	表示API节点。
CLASSIFIER	表示意图分类节点。
TEXT_CONVERTER	表示文本转换节点。
SCRIPT	表示脚本转换节点。
CONDITION	表示条件判断节点。
FUNCTION_COMPUTE	表示函数计算节点。
APP_FLOW	表示AppFlow节点。
GUARDRAIL	Guardrail节点表示对阿里绿网的调用，用于实时监控、检测和拦截多种违规内容，例如赌博、色情等。 ManualIntervention指触发了您为智能体应用设定的干预规则；SystemIntervention指触发了系统干预规则。
END	表示结束节点。

高代码应用

节点类型	说明
CHAIN	FullCodeApp指触发了一个已创建的高代码应用，目前不支持追踪其内部调用链路。

常见问题

使用子账号开通应用观测，应如何配置权限？

为子账号配置AliyunBailianFullAccess全局管理（阿里云百炼）权限。
为子账号配置应用观测-操作（或管理员）页面权限，使其可在应用观测页面执行写入类操作。
创建并授予子账号创建服务关联角色系统策略。
1. 登录RAM控制台，在左侧导航栏，选择权限管理 > 权限策略，然后单击界面上的创建权限策略。
2. 在脚本编辑的Effect、Action、Resource、Condition中分别输入以下脚本中的对应内容后，单击确定。
```
{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:CreateServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}
```
3. 输入权限策略名称CreateServiceLinkedRole后，单击确定。
4. 在左侧导航栏，选择身份管理 > 用户。从界面列表中找到待授权的子账号，然后单击子账号操作列的添加权限。
5. 从权限策略列表中，选择刚创建的权限策略（CreateServiceLinkedRole），然后单击确认新增授权。至此，子账号拥有了创建服务关联角色的权限。
完成以上所有权限配置后，返回应用观测界面，使用子账号再尝试开启应用观测。

已为高代码应用开启观测，但为什么看不到调用量等统计数据？

请按以下清单排查：

已在代码中定义要上报的信息。可使用 AgentScope-AI 的 Tracing模块定义。
在部署高代码应用时，已添加--telemetry enable参数开启可观测能力。