服务日志类型

日志类型

概述

LogStore名称

日志详情

说明

详细日志

包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。

internal-operation_log

详细日志

所有API请求和操作所涉及的详细日志，包括控制台、消费组、SDK等所有客户端发送的请求。

重要日志

包括LogStore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。

internal-diagnostic_log

消费组延迟日志

消费组的消费延时日志，每2分钟上报一次。指定查询消费组延迟日志时，需要在查询语句中指定__topic__: consumergroup_log。

Logtail告警日志

Logtail的错误日志。

每30秒记录一次，30秒内重复出现的错误类型只记录错误总和，错误Message随机选择一条。指定查询Logtail告警日志时，需要在查询语句中指定__topic__: logtail_alarm。

Logtail采集日志

Logtail采集统计信息。

10分钟记录一次。查询Logtail采集日志时，需要在查询语句中指定__topic__: logtail_profile。

Logtail状态日志

Logtail定时上报的状态日志。

每分钟记录一次。指定查询Logtail状态日志时，需要在查询语句中指定__topic__: logtail_status。

任务运行日志

记录指定Project内数据加工（新版）、定时SQL、数据导入、数据投递（新版）任务的运行指标和运行日志。

internal-diagnostic_log

定时SQL任务运行日志

一个定时SQL实例对应一条定时SQL日志，即一个定时SQL实例运行结束后，上报一条日志。

查询定时SQL运行日志时，需要在查询语句中指定__topic__: scheduled_sql_alert。

数据加工（新版）、导入和投递（新版）任务运行日志

每分钟上报一次日志。任务相关的数据源无数据时，不会上报。

分类

请求方式

读操作

产生读操作日志的请求方式如下：

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

写操作

产生写操作日志的请求方式如下：

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

资源操作

产生资源操作日志的请求方式如下：

CreateProject、DeleteProject等其他接口。

字段

说明

示例

LogStore

LogStore名称。

LogStore-1

config_name

Logtail采集配置名称。由##配置版本号##projectName$配置名称组成，全局唯一。

##1.0##project-1$LogStore-1

error_line

引起错误的原始日志。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

日志文件的device ID。

1​23

file_inode

日志文件的inode。

124

file_name

日志文件的完整路径或者值为logstore_statistics。

/abc/file_1

file_size

日志文件大小，单位：字节。

12345

history_data_failures

历史处理失败次数。

0

last_read_time

时间窗口内最近的读取时间，Unix时间戳。

1525346677

project

Project名称。

project-1

logtail_version

Logtail版本。

0.14.2

os

操作系统。

Windows

parse_failures

时间窗口内日志解析失败的行数。

12

read_avg_delay

时间窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。

65

read_count

时间窗口内日志读取次数。

10

read_offset

当前读取到文件偏移位置，单位：字节。

12345

regex_match_failures

正则表达式匹配失败次数。

1

send_failures

时间窗口内发送失败的次数。

12

source_ip

Logtail所在机器的IP地址。

47.100.**.**

succeed_lines

处理成功的日志行数。

123

time_format_failures

日志时间匹配失败次数。

122

total_bytes

读取的总字节数。

12345

字段

说明

示例

send_block_flag

时间窗口结束时发送队列是否阻塞。

false

send_discard_error

时间窗口内因数据异常或无权限导致丢弃数据包的个数。

0

send_network_error

时间窗口内因网络错误导致发送失败的数据包个数。

12

send_queue_size

时间窗口结束时当前发送队列中未发送数据包数。

3

send_quota_error

时间窗口内因Quota超限导致发送失败的数据包个数。

0

send_success_count

时间窗口内发送成功的数据包个数。

12345

sender_valid_flag

时间窗口结束时该LogStore的发送标志位是否正常。

• true：正常。

• false：可能因为网络错误或Quota错误而被禁用。

true

max_send_success_time

在时间窗口内最近一次发送数据成功的时间，为Unix时间戳。

1525342763

max_unsend_time

在时间窗口内，发送队列中最近一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。

1525342764

min_unsend_time

在时间窗口内，发送队列中第一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。

1525342764

字段

说明

示例

config_count

Logtail采集配置的数量。

​1

config_get_last_time

上一次获取Logtail采集配置的时间。

2021-07-20 16:19:22

config_update_count

Logtail启动后，Logtail采集配置更新的次数。

​1

config_update_item_count

Logtail启动后，Logtail采集配置项更新的总和。

​1

config_update_last_time

Logtail启动后，Logtail采集配置最后一次更新的时间。

2021-07-20 16:18:42

env_config

是否使用环境变量创建Logtail采集配置。

false

event_tps

事件TPS。

1​

last_read_event_time

上一次获取事件的时间。

2021-07-20 16:18:42

last_send_time

上一次发送数据的时间。

2021-07-20 16:18:42

multi_config

是否开启多个Logtail采集配置采集相同的文件。

false

net_err_stat

最近1分钟、5分钟和15分钟内网络发生错误的次数。

0,0,0

open_fd

目前打开的文件数量。

​1

plugin_enabled

是否使用了插件功能。

• true：使用了插件功能。

• false：未使用插件功能。

false

poll_modify_size

监听修改事件的文件数量。

​1

polling_dir_cache

扫描的文件夹数量。

​1

polling_file_cache

扫描的文件数量。

​1

process_bytes_ps

每秒处理的日志量，单位：字节。

​1000

process_lines_ps

每秒处理的日志条数。

​1000

process_queue_full

达到最大长度限制的处理队列个数。

​1

process_queue_total

处理队列数量。

​10

process_tps

处理TPS。

​0

reader_count

正在处理的文件数。

​1

region

Logtail所在的地域。

​cn-hangzhou

register_handler

要监控的文件夹数量。

​1

send_bytes_ps

每秒发送的原始日志量（字节）。

​11111

send_lines_ps

每秒发送的日志条数。

1000​

send_net_bytes_ps

每秒发送的网络数据量（字节）。

1000​

send_queue_full

达到最大长度限制的发送队列个数。

​1

send_queue_total

发送队列数量。

​12

send_request_concurrency

发送并发上限数。

10

send_tps

发送TPS。

​0.075

sender_invalid

异常的发送队列数。

​0

start_time

启动时间。

2021-07-20 16:19:22

used_sending_concurrency

当前已使用的发送并发数。

0

字段

说明

示例

action

任务的操作。

• ingest： 从数据源读取数据

• deliver：将数据写入到目标。

ingest

connector

数据源类型或者目标类型。

• sls：阿里云日志服务

• oss：阿里云对象存储

• maxcompute：阿里云MaxCompute

• cms：阿里云云监控服务

• cloudtrail：AWS CloudTrail

• kafka：Apache Kafka

• elasticsearch：Elasticsearch

• mysql：MySQL（开源、阿里云等厂商）

• mssql：SQL Server（开源、阿里云等厂商）

oss

instance

数据源实例名称或目标实例名称。

my-oss-bucket

task_id

任务ID。

1669277

task_name

任务名称。

1652765276578_task_0

task_type

任务类型，固定为CONNECTOR。

CONNECTOR

字段

说明

示例

state

任务运行状态。

• 0：正常。

• 1：报错，可能减缓运行进度。

• 2：失败，完全阻塞运行。

0

error

任务运行的错误信息。

无错误信息时，日志中不存在该字段。

fail to pull logs, unauthorized

lags

任务运行进度。

只针对数据读取任务，即action字段值为ingest时，日志中存在lags字段。该字段值与数据源类型（connector字段）相关。

• 当connector字段为sls时，lags字段值表示Shard消费延迟时间，单位：秒。

• 当connector字段为kafka时，lags字段值表示Topic级别的消费Lag。

• 当connector字段为cms时，lags字段值表示云监控读取的延迟时间，单位：秒。

0.813

desc

只针对数据读取任务，即action字段值为ingest时，日志中存在desc字段。该字段值与数据源类型（connector字段）相关。

• 当connector字段为sls时，desc字段值为时间单位s。

• 当connector字段为kafka时，desc字段值为lags描述信息。

• 当connector字段为cms时，desc字段值为时间单位s。

s

events

时间范围内处理的数据条目数。

13245

failed

时间范围内处理失败的数据条目数。

3

native_bytes

时间范围内处理的数据的原始大小。

7539125

events_bytes

时间范围内处理的数据被解析后的大小。

13295475

pub_net_bytes

时间范围内处理的数据的公网流量。

45678

req_count

时间范围内数据源或者目标的请求次数。

89

rep_time

时间范围内数据源或者目标的平均请求延迟。

38

rate_limit_hits

时间范围内数据源或者目标请求被限流次数。

1

extras

其他相关信息。当字段值存在时，日志中才会展示该字段。

该字段值与数据源类型（connector字段）相关。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}