通过模型观测功能,可查看:
调用记录
Token消耗
性能指标,含Token延时、调用时长、RPM(每分钟调用次数)、TPM(每分钟消耗Token数)及失败率等
模型观测尚未提供 API 接口。如需通过API获取Token消耗信息,可在每次调用模型时从响应中的usage
字段提取当前调用数据(目前不支持历史或汇总查询)。
应用场景
调用统计 支持查看模型在过去一段时间内的使用情况 | 性能指标 支持查看模型的多种常见性能指标 |
查看调用次数和调用量的趋势和波动 查看失败次数和失败率,及时发现异常 | 分析RPM和TPM,作为未来容量规划的依据 查看调用时长和Token延时,跟踪模型的性能变化 |
支持的模型
开始使用
前提条件若您此前未开通模型调用服务,您需要先按照模型观测界面上的指引开通模型调用服务,才能使用模型观测功能。模型观测功能本身无需开通,也不支持关闭。 请使用主账号操作,开通后通常分钟级生效,但高峰期可能会稍有延迟。 如需使用RAM用户(子账号)开通,需主账号为该子账号配置 | ||||||||||||||||||||||||||||
监控模式模型观测提供两种监控模式:普通监控和高级监控。 普通监控:作为基础服务提供,无需手动开启,也不支持关闭。 高级监控:需主账号先切换至目标业务空间,然后在模型观测界面手动开启或关闭。如需使用子账号,需主账号为该子账号配置必要权限。
| ||||||||||||||||||||||||||||
使用方法开通模型调用服务后,系统将自动开始监测主账号所有业务空间下的模型调用。用户每次直接或间接请求模型时,系统会自动收集并同步相关数据至模型观测列表。 列表记录按模型维度生成。新模型在首次数据同步完成后自动加入列表(普通监控的延迟通常为小时级,请耐心等待)。 默认业务空间成员可查看所有业务空间的模型调用情况;子业务空间成员只能查看当前空间的模型调用情况,不支持按业务空间筛选。 | ||||||||||||||||||||||||||||
模型出现在列表中后,点击右侧操作列的监控,查看过去30天的调用统计(如调用次数、消耗Token数等)和性能指标(如RPM、TPM、调用时长以及首Token延时等)明细。支持基于API-KEY、推理类型,以及指定时间范围进行筛选。 基于API-KEY筛选:默认业务空间下可基于所有API-KEY筛选,子业务空间下仅支持当前业务空间的API-KEY筛选。其中,筛选项其他表示通过阿里云百炼控制台发起的模型调用(包括直接和间接调用)。 | ||||||||||||||||||||||||||||
模型告警 |
附录
名词解释
名词 | 解释 |
实时推理 | 对模型所有直接和间接的调用,包括但不限于模型体验、阿里云百炼应用(智能体/工作流/智能体编排应用,以及每种涉及到模型调用的节点,如大模型节点、意图分类节点以及智能体群组节点等)的测试态和发布态、Assistant API,应用调用、Prompt反馈优化,以及通过API调用模型(通过OpenAI兼容接口或DashScope SDK调用)等。 |
批量推理 | 对于无需实时响应的业务场景,批量推理服务可以通过离线方式进行大规模数据处理。 |
常见问题
为什么我调用了模型,但是查不到调用次数和消耗Token数?
可能原因 | 说明 |
数据更新延迟 | 模型调用次数和消耗Token数等统计数据的更新存在延迟(普通监控为小时级,高级监控为分钟级),请耐心等待后再查询。 |
业务空间限制 | 如果您在默认业务空间中,您可以查看当前主账号下所有业务空间的调用统计明细;如果您在子业务空间(非默认业务空间)中,您只能查看该业务空间的调用统计明细。 |
使用子账号开通高级监控,应如何配置权限?
为子账号配置
AliyunBailianFullAccess
全局管理(阿里云百炼)权限。为子账号配置
模型观测-操作
(或管理员
)页面权限,使其能在模型观测页面执行写入类操作。为子账号配置创建服务关联角色系统策略。
登录RAM控制台,在左侧导航栏,选择 ,然后单击页面上的创建权限策略。
在脚本编辑的
Effect
、Action
、Resource
、Condition
中分别输入以下脚本中的对应内容后,单击确定。{ "Version": "1", "Statement": [ { "Action": "ram:CreateServiceLinkedRole", "Resource": "*", "Effect": "Allow" } ] }
输入权限策略名称
CreateServiceLinkedRole
后,单击确定。在左侧导航栏,选择
。从页面列表中找到待授权的子账号,然后单击子账号操作列的添加权限。从权限策略列表中,选择刚创建的权限策略(CreateServiceLinkedRole),然后单击确认新增授权。至此,子账号拥有了创建服务关联角色的权限。
完成上述步骤1、2、3、4后,返回模型观测界面,使用子账号再尝试开启高级监控。
调用阿里云百炼大模型时出现超时,可能是什么原因导致?
目前模型观测尚不支持查看调用日志和具体的调用记录,因此需要您自行分析原因。
以下是几个可能的原因:
输出内容过长,您可尝试采用流式输出方式发起请求,具体操作请参见流式输出。
网络原因,请检查您的网络连接是否正常。