模型观测_大模型服务平台百炼(Model Studio)-阿里云帮助中心

在测试或评估模型时，您可能需要获取Token量、首Token延时等指标，以了解模型的使用情况和性能变化。通过模型观测，您可以获取这些数据，从而更有效地进行问题定位、故障排除和性能优化。

应用场景

调用统计

支持查看模型在过去一段时间内的使用情况

性能指标

支持查看模型的多种常见性能指标

查看调用次数和调用量的趋势和波动

查看失败次数和失败率，及时发现异常

分析RPM和TPM，作为未来容量规划的依据

查看调用时长和Token延时，跟踪模型的性能变化

模型观测支持模型列表中的所有模型，包括基于它们调优后的自定义模型。

若您此前未开通模型调用服务，您需要先按照模型观测页面上的指引开通模型调用服务，才能使用模型观测功能。模型观测功能本身无需开通，也不支持关闭。

请使用主账号操作，开通后通常分钟级生效，但高峰期可能会稍有延迟。

如果您希望使用RAM用户（子账号）开通，请让主账号在RAM控制台中为您的RAM用户配置AliyunBailianFullAccess系统策略，如何配置请参见为RAM用户授予管控层权限。

开通模型调用服务后，系统将自动开始监测主账号下所有业务空间中的模型调用。即用户每次直接或间接请求模型时，系统会自动收集相关的运行情况和数据，并将其同步至模型观测。

首次观测的模型，会在数据同步（延迟一般为小时级，请耐心等待）完成后出现在模型观测列表中。

子业务空间成员只能查看当前空间的模型调用情况，不支持按业务空间筛选。

当模型出现在列表中后，您可以单击其右侧操作列的监控，查看该模型在过去15天内的调用统计（包括调用次数、消耗Token数等指标）和性能指标（包括RPM、TPM、调用时长以及首Token延时等指标）明细，支持基于API-KEY、推理类型，以及指定时间范围进行筛选。

列表中的记录基于模型的维度生成，统计结果包含了所选时间段内用户对该模型所有调用的相关指标。

默认业务空间下可基于所有API-KEY筛选，子业务空间下仅支持当前业务空间的API-KEY筛选。

当前为限时免费阶段，具体收费时间另行通知。

百炼目前暂未提供可用的API进行模型观测。

名词	解释

名词	解释
在线推理	对模型所有直接和间接的调用，包括但不限于模型体验、百炼应用（智能体/工作流/智能体编排应用，以及每种涉及到模型调用的节点，如大模型节点、工作流应用以及智能体群组节点等）的测试态和发布态、Assistant API，应用调用、Prompt反馈优化，以及通过API调用模型（通过OpenAI兼容接口或DashScope SDK调用）等。
离线推理	即批量推理（Batch）。对于无需实时响应的业务场景，批量推理服务可以通过离线方式进行大规模数据处理。

为什么我调用了模型，但是查不到调用次数和消耗Token数？

可能原因	说明

可能原因	说明
数据更新延迟	模型调用次数和消耗Token数等统计数据的更新延迟为小时级，请耐心等待后再查询。
业务空间限制	如果您在默认业务空间中，您可以查看当前主账号下所有业务空间的调用统计明细；如果您在子业务空间（非默认业务空间）中，您只能查看该业务空间的调用统计明细。