日志服务提供的服务日志功能可记录多种日志类型，本文档详细介绍各种日志类型及不同日志类型的日志字段。

日志类型

开启服务日志时，可以选择记录的日志类型，包括：
  • 详细日志：包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。该日志保存在指定Project的Logstore（internal-operation_log）中。
  • 重要日志：包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。该日志保存在指定Project的Logstore（internal-diagnostic_log）中。
日志类型 Logstore 日志来源 说明
详细日志 internal-operation_log 用户操作日志 所有API请求和操作日志，包括控制台、消费组、SDK等所有客户端发送的请求。
重要日志 internal-diagnostic_log 消费组快照日志 消费组的消费延时日志，2分钟上报一次。指定查询消费组快照日志时，需要在查询语句中指定__topic__: consumergroup_log。
Logtail告警日志 Logtail的错误日志。

每30秒记录一次，30秒内重复出现的错误类型只记录错误总和，错误Message随机选择一条。指定查询Logtail告警日志时，需要在查询语句中指定__topic__: logtail_alarm。

Logtail采集日志 Logtail采集统计信息。

10分钟记录一次。指定查询Logtail采集日志时，需要在查询语句中指定__topic__: logtail_profile。

Logtail状态日志

Logtail定时上报的状态日志。

每分钟记录一次。指定查询Logtail状态日志时，需要在查询语句中指定__topic__: logtail_status。

用户操作日志

用户操作日志可以根据Method字段分为读操作、写操作和资源操作三类日志。
分类 方法
读操作 产生读操作日志的请求方式如下：
  • GetLogStoreHistogram
  • GetLogStoreLogs
  • P​ullData
  • GetCursor
  • GetCursorTime
写操作 产生写操作日志的请求方式如下：
  • PostLogStoreLogs
  • WebTracking
资源操作 产生资源操作日志的请求方式如下：

CreateProject、DeleteProject等其他接口。
用户操作日志的公共字段如下：
表 1. 公共字段
字段 描述 示例
APIVersion API 版本。 0.6.0
InvokerUid 执行操作的用户的账户id。 1759218115323050
NetworkOut 通过公网入口读取的流量，单位为字节。 10
Latency 请求延时，单位为微秒。 123279
LogStore Logstore的名称。 logstore-1
Method 产生该日志的请求方式。 GetLogStoreLogs
Project 操作的Project名称。 project-1
NetOutFlow 读取的流量，单位为字节。 120
RequestId 请求ID。 8AEADC8B0AF2FA2592C9509E
SourceIP 发送请求的客户端IP。 1.2.3.4
Status 请求响应的状态码。 200
UserAgent 客户端用户代理。 sls-java-sdk-v-0.6.1
用户操作日志中读操作日志特有的字段如下所示：
表 2. 读操作日志字段
字段 描述 示例
BeginTime 请求开始时间，Unix时间戳。 1523868463
DataStatus 请求响应数据状态。包括Complete、OK、Unknown等。 OK
EndTime 请求结束时间，Unix时间戳。 1523869363
Offset GetLog请求偏移行数。 20
Query 原始查询语句。 UserAgent: [consumer-group-java]*
RequestLines 期望返回行数。 100
ResponseLines 返回结果行数。 100
Reverse 是否按日志时间戳逆序返回日志，其中：
  • 1：表示逆序。
  • 0：默认值，表示顺序。
 0
TermUnit 搜索语句中包含的词项个数。 0
Topic 读取数据的主题名称。 topic-1
用户操作日志中写操作日志特有的字段如下所示：
表 3. 写操作日志字段
字段 描述 示例
InFlow 原始写入字节数。 200
InputLines 请求写入行数。 10
NetInflow 压缩之后的写入字节数。 100
Shard 写入的Shard Id。 1
Topic 数据写入的主题名称。 topic-1

消费组延迟日志

消费组的消费延迟日志字段如下：
表 4. 消费组延迟日志字段
字段 描述 示例
consumer_group 消费组名称。 consumer-group-1
fallbehind 当前消费位置距离最新写入日志的落后时间，单位为秒。 12345
logstore 日志库名称。 logstore-1
project 项目名称。 project-1
shard 消费的Shard Id。 1

Logtail告警日志

Logtail告警日志字段如下：
表 5. Logtail告警日志字段
字段 描述 示例
alarm_count 时间窗口内的告警次数。 10
alarm_message 触发告警的原始日志采样。 M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
alarm_type 告警类型。 REGISTER_INOTIFY_FAIL_ALARM
logstore 日志库名称。 logstore-1
source_ip Logtail运行的机器IP地址。 1.2.3.4
os 操作系统：如Linux或Windows等。 Linux
project 项目名称。 project-1
version Logtail的版本。 0.14.2

Logtail采集日志

Logtail采集日志可以根据字段file_name分为如下两类：
  • 针对单个文件的采集统计信息。
  • 针对Logstore的统计信息，即file_name为logstore_statistics的部分。
字段说明如下所示：
表 6. Logtail采集日志字段
字段 描述 示例
logstore 日志库名称。 logstore-1
config_name 采集配置名。由##配置版本号##projectName$配置名称组成的全局唯一配置名。 ##1.0##project-1$logstore-1
error_line 引起错误的原始日志。 M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
file_dev 该日志文件的device ID。
说明 当file_name为logstore_statistics时，该字段无意义。
1​23
file_inode 该日志文件的inode。
说明 当file_name为logstore_statistics时，该字段无意义。
124
file_name 日志文件完整路径或者logstore_statistics。 /abc/file_1
file_size 当前文件大小，单位为字节。 12345
history_data_failures 历史处理失败次数。 0
last_read_time 窗口内最近的读取时间，Unix时间戳。 1525346677
project 项目名称。 project-1
logtail_version Logtail版本。 0.14.2
os 操作系统。 Windows
parse_failures 窗口日志解析失败的行数。 12
read_avg_delay 窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。 65
read_count 窗口内日志读取次数。 10
read_offset 当前读取到文件偏移位置，单位为字节。 12345
regex_match_failures 正则表达式匹配失败次数。 1
send_failures 窗口内发送失败的次数。 12
source_ip Logtail运行机器IP地址。 1.2.3.4
succeed_lines 处理成功的Log行数。 123
time_format_failures 日志时间匹配失败次数。 122
total_bytes 读取的总字节数。 12345
如下字段只有在file_name为logstore_statistics时才会存在：
表 7. Logstore统计特有日志字段
字段 描述 示例
send_block_flag 窗口结束时发送队列是否阻塞。 false
send_discard_error 窗口内因数据异常或无权限导致丢弃数据包的个数。 0
send_network_error 窗口内因网络错误导致发送失败的数据包个数。 12
send_queue_size 窗口结束时当前发送队列中未发送数据包数。 3
send_quota_error 窗口内因quota超限导致发送失败的数据包个数。 0
send_success_count 窗口内发送成功的数据包个数。 12345
sender_valid_flag 窗口结束时该Logstore的发送标志位是否有效，其中：
  • true表示正常。
  • false表示可能因为网络错误或quota错误而被禁用。
 true
max_send_success_time 在时间窗口内最近一次发送数据成功的时间。Unix时间戳。 1525342763
max_unsend_time 在时间窗口内，发送队列中最近一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。 1525342764
min_unsend_time 在时间窗口内，发送队列中第一次数据包发送失败的时间。Unix时间戳，队列空时为0。 1525342764

Logtail状态日志

Logtail状态日志字段如下：
字段 描述 示例
cpu 进程CPU的负载。 ​0.001333156
hostname 主机名。 abc2.et12
instance_id 实例ID，是一个随机的ID。 ​05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_1517456122
ip IP地址。 ​1.0.1.0
load 系统平均负载。 ​0.01 0.04 0.05 2/376 5277
memory Logtail进程占用的内存大小，单位为MB。 12
detail_metric 各项计量值，JSON格式，详细内容请参见detail_metric。 detail_metric
os 操作系统。 Linux​
os_cpu 系统整体的CPU使用率。 ​0.004120005
os_detail 操作系统详细信息。 ​2.6.32-220.23.8.tcp1.34.el6.x86_64
status 客户端状态，包括：
  • ok
  • busy
  • many_log_files
  • process_block
  • send_block
  • send_error
详细说明请参见Logtail运行状态。 		​busy
user 用户名。 ​root
user_defined_id 用户定义的ID。 ​aliyun-log-id
uuid 机器的uuid。 ​64F28D10-D100-492C-8FDC-0C62907F1234
version Logtail版本。 ​0.14.2
project Logtail配置所属的Project。 my-project
其中，字段detail_metric包含的字段值如下：
表 8. detail_metric字段值
字段 描述 示例
config_count Logtail配置数量。 ​1
config_get_last_time 上一次获取配置的时间。 ​1525686673
config_update_count Logtail启动之后配置的更新次数。 ​1
config_update_item_count Logtail启动之后配置项的更新总和。 ​1
config_update_last_time Logtail启动之后配置的最后一次更新时间。 ​1525686663
event_tps 事件数TPS。 1​
last_read_event_time 上一次获取事件的时间。 ​1525686663
last_send_time 上一次发送数据的时间。 ​1525686663
open_fd 目前打开的文件数量。 ​1
poll_modify_size 监听修改事件的文件数量。 ​1
polling_dir_cache 扫描的文件夹数量。 ​1
polling_file_cache 扫描的文件数量。 ​1
process_byte_ps 每秒处理的日志量（字节）。 ​1000
process_lines_ps 每秒处理的日志条数。 ​1000
process_queue_full 达到最大长度限制的发送队列个数。 ​1
process_queue_total 处理队列数量。 ​10
process_tps 处理TPS。 ​0
reader_count 正在处理的文件数。 ​1
region Logtail所在的地域。 ​cn-hangzhou,cn-shanghai
register_handler 要监控的文件夹数量。 ​1
send_byte_ps 每秒发送的原始日志量（字节）。 ​11111
send_line_ps 每秒发送的日志条数。 1000​
send_net_bytes_ps 每秒发送的网络数据量（字节）。 1000​
send_queue_full 达到最大长度限制的发送队列个数。 ​1
send_queue_total 发送队列数量。 ​12
send_tps 发送TPS。 ​0.075
sender_invalid 异常的发送队列数。 ​0