将应用追踪数据接入审计

更新时间:
复制 MD 格式

如果 AI 应用已经接入 AgentLoop 可观测并持续上报应用追踪数据(Trace),您可以在审计管理中选择需要审计的应用服务,将其中的模型调用和工具调用信息转换为审计事件,无需为同一应用重复配置应用日志接入。转换后,您可以在审计事实中浏览 Session 及相关行为上下文。开启应用风险检测后,还可以在风险审计中分析相应的风险事件。

适用场景

应用追踪数据接入审计适用于以下场景:

  • 已经能够在 AI Agent 可观测 > 链路追踪中查看应用的 Trace 数据,希望复用这些数据进行审计。

  • 只希望审计部分应用,可以按 serviceName 选择转换范围。

  • 希望查看模型请求、模型响应、工具调用和工具结果等审计事实。

如果同一应用已经通过 AI 应用日志接入审计,不建议再转换该应用的 Trace,以免同一行为重复进入审计。

前提条件

开始操作前,请确认满足以下条件:

  • 已开通 AgentLoop 服务并创建智能体空间。

  • 目标应用的 Trace 已接入当前智能体空间,并在近 24 小时内产生过数据。

  • Trace 中包含有效的 serviceName,并且至少包含 LLM 或 Tool 类型的调用记录。

Trace 字段的完整程度会影响转换后的审计内容。例如,源 Trace 未提供用户、会话或 Agent 类型信息时,审计页面中的对应信息也可能不完整。

操作步骤

步骤一:进入审计管理

  1. 登录 AgentLoop 控制台,选择目标智能体空间。

  2. 在左侧导航栏选择审计 > 审计管理。

  3. 如果页面显示初始化 Agent 安全审计资源,单击初始化资源,等待页面提示资源准备完成,然后单击进入 Agent 审计。如果直接进入审计管理页面,可跳过此步骤。

初始化失败时,可以单击重试初始化。如果页面提示初始化时间较长,请稍后重试;已经完成的准备工作不会重复执行。

步骤二:选择应用服务

  1. 在审计数据源接入区域,找到分组为 AI 应用、数据源为应用追踪的行。

  2. 单击管理转换范围。

  3. 在管理应用追踪转换范围对话框中,搜索并勾选需要接入审计的 serviceName。

    字段

    说明

    serviceName

    Trace 中的服务标识,用于区分不同的 AI 应用或服务。

    LLM 统计

    近 24 小时内检测到的大模型调用记录数量。

    Tool 统计

    近 24 小时内检测到的工具调用记录数量。

  4. 确认页面显示的已选择服务数量,然后单击保存配置。

保存成功后,应用追踪的状态会显示为已配置 N 个服务。serviceName 区分大小写,请按 Trace 中的实际值选择。

验证接入结果

完成配置后,可以按以下步骤验证:

  1. 在目标应用中发起一次包含模型调用或工具调用的新请求。

  2. 稍后刷新审计管理页面,在接入数据观测区域查看AI 应用追踪数据。

  3. 确认列表中出现目标应用,并检查以下信息:

    • Agent 类型。

    • Agent 应用名称。

    • 最近数据时间。

    • 近 24 小时事件量趋势。

  4. 单击目标应用右侧的查看,进入审计事实并查看对应 Session 的模型调用和工具调用上下文。

已配置 N 个服务表示转换范围已经保存。是否已经产生审计数据,请以AI 应用追踪数据列表和审计事实中的实际数据为准。

如果还需要查看风险结果,请在审计管理的检测配置中开启应用风险检测。未开启应用风险检测时,仍可以查看已经接入的审计事实,但不会生成新的应用风险检测结果。

调整或停止转换

  1. 在审计数据源接入区域找到应用追踪,单击管理转换范围。

  2. 勾选需要新增的服务,或取消勾选不再需要转换的服务。

  3. 单击保存配置。

取消勾选后,系统不再转换该服务后续产生的新 Trace。已经生成的审计数据不会自动删除,仍按照当前智能体空间的数据保存规则保留。

转换范围说明

  • 系统只转换已勾选 serviceName 下的 LLM 和 Tool 类型调用记录。

  • 其他类型的 Trace 节点不会作为模型调用或工具调用审计事件接入。

  • 新增应用服务后,需要再次打开管理应用追踪转换范围并勾选对应的 serviceName。

  • 转换后的字段和值来自源 Trace;源数据未提供的内容不会自动补全。

  • 同一应用同时通过应用日志和应用追踪接入时,可能产生重复数据。页面显示疑似重复接入提示时,建议保留一种接入方式,并在转换范围中取消重复服务。

常见问题

在转换范围中找不到目标服务

请依次确认:

  • 当前选择的智能体空间是否与 Trace 所属空间一致。

  • 目标服务是否在近 24 小时内产生过新的 Trace。

  • Trace 的 serviceName 是否有效。

  • Trace 是否包含 LLM 或 Tool 类型调用记录。

  • 同名应用是否已经通过 AI 应用日志接入审计。

已保存转换范围,但看不到审计数据

先在目标应用中发起新的模型或工具调用,然后刷新审计管理页面。如果仍无数据,请确认源 Trace 可以正常查询,并检查应用追踪状态是否显示加工异常。

页面提示疑似重复接入

这表示同一应用可能同时通过应用日志和应用追踪接入。请单击管理转换范围,取消勾选重复的 serviceName,然后保存配置。