接入与管理数据采集

更新时间:
复制 MD 格式

创建 SessionStore 后,需要让符合所选格式的数据进入采集链路。本文介绍直写与引用方式下的操作位置、Logtail 配置及接入验证方法。

选择正确的写入位置

SessionStore 类型

应用数据写到哪里

在哪里管理采集

直写

创建的 SessionStore

SessionStore 的概览、数据接入或 Logtail 配置管理页面。

引用

创建时关联的源 LogStore

源 LogStore 的采集管理页面。

直写接入需要填写目标名称时,使用当前 SessionStore 名称及所属 Project,不自行追加后缀或创建另一个 LogStore。

引用方式没有独立的 SessionStore Logtail 接入入口,这是两种方式的正常差异,不代表资源故障。

直写方式:创建采集配置

前提条件

  • 已创建直写模式的 SessionStore。

  • 采集数据与 SessionStore 的原始数据格式相符。

  • 如果通过 Logtail 采集服务器文件,已完成采集器安装、机器组配置和连通性检查,并确认采集进程可读取日志文件。

操作步骤

  1. 打开目标 SessionStore。

  2. 在“概览”的 Logtail 配置区域进入创建入口,或在“原始数据”页面单击“数据接入”,再创建 Logtail 配置。

  3. 在数据接入目录中选择与应用匹配、且已支持 SessionStore 的采集方式。

  4. 按采集向导填写数据源、处理方式和目标信息,核对输出目标为当前 SessionStore。

  5. 创建配置并应用到对应机器组。

  6. 产生一条新日志,按本文“验证接入结果”检查。

说明:接入目录可能包含多种日志服务采集方式。目录中出现某张卡片,不等于该方式已经支持您选择的 SessionStore 数据格式;请以该方式的适用说明和实际向导为准。

核对采集配置

不同采集方式的向导有所区别,请以选中方式的页面为准。对于文件采集,提交前重点核对以下内容。

检查项

核对内容

示例

配置名称

便于识别应用与环境,并符合页面要求

agent-json-collect

日志目录

采集器所在机器上的目录,不是当前电脑的目录

/var/log/agent

文件匹配

确实覆盖应用产生的日志文件

*.json

编码与解析

与实际文件编码和内容一致

UTF-8、JSON 格式。

机器组

包含真正产生该日志的机器,并已正常连接

核对实际机器组。

输出目标

当前 Project 和 SessionStore

不改为其他资源。

JSON 解析只负责解析日志内容,不会自动补齐 Session ID、模型输入输出等业务字段。请先确认文件记录本身符合所选原始数据格式。

配置或应用未完全成功

配置创建成功,不一定代表所有机器组都已成功应用。出现错误时,应先检查已有配置和应用状态,按当前向导提供的恢复入口处理失败项,并确认采集器能够实际收到配置。

不要为了重试机器组而重复创建同名配置。关闭或刷新页面后,也应先核对已有结果,再决定下一步。

引用方式:维护源 LogStore

  1. 在 SessionStore 概览核对源 Project 和 LogStore。

  2. 打开源 LogStore 的采集管理页面,创建或修改原有采集配置。

  3. 确认新数据持续进入该 LogStore。

  4. 返回 SessionStore 查询原始数据,再检查加工后的轨迹和会话。

重要

源 LogStore 可能同时被其他业务使用。修改其采集规则、索引、权限或保留时间前,请评估对其他消费者的影响。

查看和维护 Logtail 配置

直写 SessionStore 可在配置列表中搜索配置名称、翻页和刷新。单击配置名称或管理入口,进入配置详情并按页面能力修改配置、检查机器组应用情况。

删除采集配置与删除 SessionStore 是不同操作。删除配置前应确认其使用范围和机器组依赖,避免中断仍需要的采集。不要将删除采集配置当作清除已存储数据的方法。

验证接入结果

  1. 记录一条新测试交互的发生时间和标识。

  2. 在“原始数据”选择覆盖该时间的范围,使用 * 查询。

  3. 检查实际字段及其值,尤其是执行与会话关联标识。

  4. 在“单条轨迹”“会话”中查询同一次交互,并留出加工时间。

现象

优先检查

原始数据为空

写入目标、源端是否有新数据、文件路径、机器组、采集器、写入权限和时间范围。

原始数据可见,轨迹为空

数据格式、加工等待时间、后台服务授权、轨迹所需字段。

轨迹可见,会话为空

Session ID 是否存在且一致,查询时间是否覆盖相应记录。

工具 Span 可见,轨迹中没有工具步骤

源数据是否包含加工所需的关联内容。只有一条 Tool Span 不一定足以形成可展示的工具步骤。

加工结果可能晚于原始数据。对于采用静默触发的 OpenTelemetry Trace 链路,持续活动和迟到数据也会影响快照生成。