在测试或评估模型时，您可能需要获取Token消耗、首Token延时等信息，以了解模型的使用情况和性能变化。通过模型观测，您可以获取这些数据，从而更有效地进行问题定位、故障排除和性能优化。本文介绍如何在控制台使用模型观测。
模型观测目前暂无API。如果您希望通过API获取Token消耗等信息，可以在每次调用模型时，从返回结果的usage字段提取本次调用的Token信息（目前不支持历史或汇总查询）。应用场景
调用统计 支持查看模型在过去一段时间内的使用情况 | 性能指标 支持查看模型的多种常见性能指标 |
查看调用次数和调用量的趋势和波动 查看失败次数和失败率，及时发现异常 | 分析RPM和TPM，作为未来容量规划的依据 查看调用时长和Token延时，跟踪模型的性能变化 |
|
|
支持的模型
开始使用
前提条件若您此前未开通模型调用服务，您需要先按照模型观测界面上的指引开通模型调用服务，才能使用模型观测功能。模型观测功能本身无需开通，也不支持关闭。 请使用主账号操作，开通后通常分钟级生效，但高峰期可能会稍有延迟。 如需使用RAM用户（子账号）开通，需主账号为该RAM用户配置AliyunBailianFullAccess系统策略。 | |||||||||||||||||||||
监控模式模型观测提供两种监控模式：普通监控和高级监控。 普通监控：作为基础服务提供，无需手动开启，也不支持关闭。 高级监控：主账号需切换至目标业务空间，然后在模型观测界面手动开启或关闭。如需使用RAM用户，需主账号为该RAM用户配置必要权限。
| |||||||||||||||||||||
使用方法开通模型调用服务后，系统将自动开始监测主账号所有业务空间下的模型调用。每次用户直接或间接请求模型时，系统会自动收集并同步相关数据至模型观测。 若模型此前未在模型列表中，则将在数据同步完成后（普通监控的延迟一般为小时级，请耐心等待）自动加入到该列表中。 子业务空间成员只能查看当前空间的模型调用情况，不支持按业务空间筛选。
| |||||||||||||||||||||
当模型出现在列表中后，您可以单击其右侧操作列的监控，查看该模型在过去15天内的调用统计（如调用次数、消耗Token数等）和性能指标（如RPM、TPM、调用时长以及首Token延时等）明细，支持基于API-KEY、推理类型，以及指定时间范围进行筛选。 列表中的记录基于模型的维度生成，统计结果包含了所选时间段内用户对该模型所有调用的相关指标。 基于API-KEY筛选：默认业务空间下可基于所有API-KEY筛选，子业务空间下仅支持当前业务空间的API-KEY筛选。其中，筛选项其他表示通过阿里云百炼控制台发起的模型调用（包括直接和间接调用）。
|
计费说明
附录
名词解释
名词 | 解释 |
实时推理 | 对模型所有直接和间接的调用，包括但不限于模型体验、阿里云百炼应用（智能体/工作流/智能体编排应用，以及每种涉及到模型调用的节点，如大模型节点、工作流应用以及智能体群组节点等）的测试态和发布态、Assistant API，应用调用、Prompt反馈优化，以及通过API调用模型（通过OpenAI兼容接口或DashScope SDK调用）等。 |
批量推理 | 对于无需实时响应的业务场景，批量推理服务可以通过离线方式进行大规模数据处理。 |
常见问题
为什么我调用了模型，但是查不到调用次数和消耗Token数？
可能原因 | 说明 |
数据更新延迟 | 模型调用次数和消耗Token数等统计数据的更新存在延迟（普通监控为小时级，高级监控为分钟级），请耐心等待后再查询。 |
业务空间限制 | 如果您在默认业务空间中，您可以查看当前主账号下所有业务空间的调用统计明细；如果您在子业务空间（非默认业务空间）中，您只能查看该业务空间的调用统计明细。 |
我想使用RAM用户开启高级监控，应如何为该RAM用户配置权限？
主账号为RAM用户配置AliyunBailianFullAccess系统策略。
主账号为RAM用户配置创建服务关联角色系统策略。
使用主账号登录RAM控制台，在左侧导航栏，选择，然后单击页面上的创建权限策略。
在脚本编辑的
Effect、Action、Resource、Condition中分别输入以下脚本中的对应内容后，单击确定。{ "Version": "1", "Statement": [ { "Action": "ram:CreateServiceLinkedRole", "Resource": "*", "Effect": "Allow" } ] }输入权限策略名称
CreateServiceLinkedRole后，单击确定。在左侧导航栏，选择。从页面列表中找到待授权的子账号，然后单击子账号操作列的添加权限。
从权限策略列表中，选择刚创建的权限策略（CreateServiceLinkedRole），然后单击确认新增授权。至此，子账号拥有了创建服务关联角色的权限。
完成上述步骤1和2后，返回模型观测界面，使用RAM用户再尝试开启高级监控。