日志采集支持纳秒精度时间戳

业务场景说明

在分布式追踪、高频交易、性能剖析或对日志严格保序等场景中，秒级的时间精度无法满足业务需求。这些场景的业务日志中通常会记录毫秒、微秒甚至纳秒级的时间戳。本方案旨在指导如何配置 Logtail，以完整地采集、存储和分析这些高精度时间信息，确保日志分析的准确性和时序性。

方案架构

LoongCollector（Logtail）采集纳秒精度时间戳的核心机制是在标准秒级时间戳之外，额外存储一个纳秒级的偏移量。此设计旨在兼容现有以秒为单位的时间系统，同时提供高精度排序能力。

核心工作流程如下：

1. 开启纳秒支持：在 Logtail 采集配置的高级参数中，通过 { "EnableTimestampNanosecond": true } 激活高精度时间处理能力。此功能仅适用于 Logtail 1.8.0 及以上版本的 Linux 环境。

2. 日志解析：使用分隔符、JSON 或正则表达式等插件从原始日志中提取包含高精度时间戳的字符串。

3. 时间转换：时间解析插件将时间字符串转换为标准时间格式。

4. 时间存储：日志服务将时间拆分为两个字段进行存储：

   • __time__：标准的 Unix 时间戳（长整型），单位为秒。

   • __time_ns_part__：纳秒部分（长整型），取值范围为 0 到 999,999,999。

5. 查询与分析：在查询分析时，通过对 __time__ 和 __time_ns_part__ 两个字段组合排序，可以实现严格的日志时序分析。

实施步骤

本节将以一个包含纳秒级时间戳的JSON 日志为例，提供一个从日志采集、解析、索引配置到最终查询分析的完整端到端操作流程。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

常见问题

采集日志无法正常解析纳秒时间戳

配置采集后，发现高精度时间并未正常提取。

• 错误原因

  插件模式支持%f，但是时间格式需要与源时间内容保持一致。

• 解决方法

  • 登录LoongCollector（Logtail）机器，查看日志，发现大量STRPTIME_PARSE_ALARM异常日志。

    tail -f /usr/local/ilogtail/logtail_plugin.LOG
    2023-10-26 00:30:39 [WRN] [strptime.go:164] [processLog] [##1.0##xxxx,xxx]    AlarmType:STRPTIME_PARSE_ALARM    strptime(2023-10-26 00:30:10,199999999, %Y-%m-%d %H:%M:%S %f) failed: 0001-01-01 00:00:00 +0000 UTC, <nil>

  • 修改插件日志解析格式。

    原始日志时间为2023-10-26 00:30:10,199999999，秒与高精度时间（这里是毫秒）之间分隔符为半角逗号（,），解析格式为%Y-%m-%d %H:%M:%S %f，秒与高精度时间之间分隔符为空格 。修改采集配置中时间转换格式为%Y-%m-%d %H:%M:%S,%f即可。

成本与限制说明

• 成本影响： __time_ns_part__ 字段会作为日志内容的一部分被存储，略微增加原始日志的存储量。

• 环境限制：此功能仅支持 Linux 系统的 Logtail 1.8.0 及以上版本，在 Windows 系统上配置不生效。

相关文档

• 下载日志

• 查询语法与功能

• 查询与分析概述

• SDK操作高精度时间戳

附录一：常见日志时间格式

Linux服务器中，Logtail支持strftime函数提供的所有时间格式。即能被strftime函数格式化的日志时间字符串都能被Logtail解析并使用。

附录二：Golang时间格式

以下为Golang官方的时间格式示例：

const (
    Layout      = "01/02 03:04:05PM '06 -0700" // The reference time, in numerical order.
    ANSIC       = "Mon Jan _2 15:04:05 2006"
    UnixDate    = "Mon Jan _2 15:04:05 MST 2006"
    RubyDate    = "Mon Jan 02 15:04:05 -0700 2006"
    RFC822      = "02 Jan 06 15:04 MST"
    RFC822Z     = "02 Jan 06 15:04 -0700" // RFC822 with numeric zone
    RFC850      = "Monday, 02-Jan-06 15:04:05 MST"
    RFC1123     = "Mon, 02 Jan 2006 15:04:05 MST"
    RFC1123Z    = "Mon, 02 Jan 2006 15:04:05 -0700" // RFC1123 with numeric zone
    RFC3339     = "2006-01-02T15:04:05Z07:00"
    RFC3339Nano = "2006-01-02T15:04:05.999999999Z07:00"
    Kitchen     = "3:04PM"// Handy time stamps.
    Stamp      = "Jan _2 15:04:05"
    StampMilli = "Jan _2 15:04:05.000"
    StampMicro = "Jan _2 15:04:05.000000"
    StampNano  = "Jan _2 15:04:05.000000000"
)