日志采集支持纳秒精度时间戳

通过控制台配置

完成LoongCollector安装和机器组配置后，进入Logtail配置页面，开始定义日志采集和处理规则。

1. 开启纳秒精度支持

定义日志的采集源、采集规则，并开启纳秒精度支持。

全局配置：

• 配置名称：设置一个在Project内唯一的名称。创建成功后，无法修改。

• 其他全局配置：开启高级参数开关，并输入以下 JSON 内容以开启纳秒精度支持：

  {
    "EnableTimestampNanosecond": true
  }

输入配置：

• 类型：文本日志采集。

• 文件路径：日志采集的路径。

  • Linux：以“/”开头，如/data/mylogs/**/*.log，表示/data/mylogs目录下所有后缀名为.Log的文件。

  • Windows：以盘符开头，如C:\Program Files\Intel\**\*.Log。

• 最大目录监控深度：文件路径中通配符**匹配的最大目录深度。默认为0（仅监控本层目录）。

2. 配置处理插件

由于源日志为 JSON 格式，在处理配置区域，添加JSON解析插件，从原始日志中分离出包含纳秒时间戳的字符串，并将其存为一个独立的字段。

1. 添加日志样例

   假设日志文件中的日志格式如下，其中asctime 字段包含了纳秒精度的时间戳。

   {
     "asctime": "2023-10-25 23:51:10,199999999",
     "filename": "generate_data.py",
     "levelname": "INFO",
     "lineno": 51,
     "module": "generate_data",
     "message": "{\"no\": 14, \"inner_loop\": 166, \"loop\": 27451, \"uuid\": \"9be98c29-22c7-40a1-b7ed-29ae6c8367af\"}",
     "threadName": "MainThread"
   }

2. 添加JSON解析插件

   单击添加处理插件，选择原生处理插件 > JSON解析，单击确认。

3. 添加时间解析插件

   将上一步提取的时间字符串（asctime字段）转换为标准的纳秒时间戳，并将其作为该条日志的事件时间。

   插件名称	核心功能	适用场景
   时间解析	基础时间解析	简单场景，格式固定。
   提取日志时间 (strptime时间格式)	灵活，支持丰富的 strptime 格式	推荐使用。功能全面，与业界标准兼容。
   提取日志时间 (Go语言时间格式)	使用 Go 语言标准库格式	熟悉 Go 语言或日志格式与 Go 标准库匹配的场景。

   时间解析

   单击添加处理插件，选择原生处理插件 > 时间解析，进行如下配置：

   • 原始字段：解析日志前，用于存放时间的原始字段，本示例为asctime。

   • 时间格式：根据日志的时间字段内容设置对应的时间格式，本示例为%Y-%m-%d %H:%M:%S,%f。其中%f为秒的小数部分，精度最高支持为纳秒。

     时间格式字符串必须与原始日志中的时间格式（包括秒和纳秒之间的分隔符，如 , 或 .）完全一致，否则无法正确解析。

   • 时区：选择日志时间字段所在的时区，默认使用机器时区。

   提取日志时间（strptime时间格式）

   单击添加处理插件，选择拓展处理插件 > 提取日志时间（strptime时间格式），进行如下配置：

   • 原始字段：解析日志前，用于存放时间的原始字段，本示例为asctime。

   • 原始时间格式：根据日志的时间字段内容设置对应的时间格式，本示例为%Y-%m-%d %H:%M:%S,%f。其中%f为秒的小数部分，精度最高支持为纳秒。

     时间格式字符串必须与原始日志中的时间格式（包括秒和纳秒之间的分隔符，如 , 或 .）完全一致，否则无法正确解析。

   提取日志时间（Go语言时间格式）

   单击添加处理插件，选择拓展处理插件 > 提取日志时间（Go语言时间格式），进行如下配置：

   • 原始时间字段：解析日志前，用于存放时间的原始字段，本示例为asctime。

   • 原始时间格式：根据原始日志的时间字段设置对应的时间格式，需要按照Golang的时间格式规范来编写。格式化时间模板为Go语言的诞生时间2006-01-02 15:04:05 -0700 MST。本示例对应的时间格式为2006-01-02 15:04:05,999999999。

     时间格式字符串必须与原始日志中的时间格式（包括秒和纳秒之间的分隔符，如 , 或 .）完全一致，否则无法正确解析。

   • 结果时间字段：解析日志后，用于存放时间的目标字段，本示例为result_asctime。

   • 结果时间格式：解析日志后的时间格式，按照Golang的时间格式规范编写。本示例为2006-01-02 15:04:05,999999999Z07:00。

通过CRD配置（Kubernetes 场景）

在 ACK 或自建 Kubernetes 集群中，可以通过 AliyunLog CRD 来配置纳秒精度时间戳的采集。以下是三种不同插件的配置样例。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}