在测试或评估模型时,您可能需要获取Token量、首Token延时等指标,以了解模型的使用情况和性能变化。通过模型观测,您可以获取这些数据,从而更有效地进行问题定位、故障排除和性能优化。
应用场景
调用统计 支持查看模型在过去一段时间内的使用情况 | 性能指标 支持查看模型的多种常见性能指标 |
查看调用次数和调用量的趋势和波动 查看失败次数和失败率,及时发现异常 | 分析RPM和TPM,作为未来容量规划的依据 查看调用时长和Token延时,跟踪模型的性能变化 |
支持的模型
开始使用
前提条件若您此前未开通模型调用服务,您需要先按照模型观测页面上的指引开通模型调用服务,才能使用模型观测功能。模型观测功能本身无需开通,也不支持关闭。 请使用主账号操作,开通后通常分钟级生效,但高峰期可能会稍有延迟。 如果您希望使用RAM用户(子账号)开通,请让主账号在RAM控制台中为您的RAM用户配置 |
使用方法开通模型调用服务后,系统将自动开始监测主账号下所有业务空间中的模型调用。即用户每次直接或间接请求模型时,系统会自动收集相关的运行情况和数据,并将其同步至模型观测。 首次观测的模型,会在数据同步(延迟一般为小时级,请耐心等待)完成后出现在模型观测列表中。 子业务空间成员只能查看当前空间的模型调用情况,不支持按业务空间筛选。 |
当模型出现在列表中后,您可以单击其右侧操作列的监控,查看该模型在过去15天内的调用统计(包括调用次数、消耗Token数等指标)和性能指标(包括RPM、TPM、调用时长以及首Token延时等指标)明细,支持基于API-KEY、推理类型,以及指定时间范围进行筛选。 列表中的记录基于模型的维度生成,统计结果包含了所选时间段内用户对该模型所有调用的相关指标。 默认业务空间下可基于所有API-KEY筛选,子业务空间下仅支持当前业务空间的API-KEY筛选。 |
计费说明
当前为限时免费阶段,具体收费时间另行通知。
API参考
百炼目前暂未提供可用的API进行模型观测。
附录
名词解释
名词 | 解释 |
名词 | 解释 |
在线推理 | 对模型所有直接和间接的调用,包括但不限于模型体验、百炼应用(智能体/工作流/智能体编排应用,以及每种涉及到模型调用的节点,如大模型节点、工作流应用以及智能体群组节点等)的测试态和发布态、Assistant API,应用调用、Prompt反馈优化,以及通过API调用模型(通过OpenAI兼容接口或DashScope SDK调用)等。 |
离线推理 | 即批量推理(Batch)。对于无需实时响应的业务场景,批量推理服务可以通过离线方式进行大规模数据处理。 |
常见问题
为什么我调用了模型,但是查不到调用次数和消耗Token数?
可能原因 | 说明 |
可能原因 | 说明 |
数据更新延迟 | 模型调用次数和消耗Token数等统计数据的更新延迟为小时级,请耐心等待后再查询。 |
业务空间限制 | 如果您在默认业务空间中,您可以查看当前主账号下所有业务空间的调用统计明细;如果您在子业务空间(非默认业务空间)中,您只能查看该业务空间的调用统计明细。 |
- 本页导读 (1)
- 应用场景
- 支持的模型
- 开始使用
- 前提条件
- 使用方法
- 计费说明
- API参考
- 附录
- 名词解释
- 常见问题