服务日志功能记录多种日志类型，本文档详细介绍各种日志类型的日志字段。

日志类型

开启服务日志时，可以选择记录的日志类型，包括：
  • 操作日志：记录Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。将保存在指定Project的Logstore internal-operation_log中。
  • 其他日志：包括Logstore粒度的计量日志、消费组消费延时日志、Logtail相关的错误、心跳和统计日志。将保存在指定Project的Logstore internal-diagnostic_log中。
日志来源 Logstore 日志来源 说明
操作日志 internal-operation_log 用户操作日志 所有API请求和操作日志，包括控制台，消费组，SDK等所有客户端发送的请求。
其他日志 internal-diagnostic_log 消费组快照日志 消费组的消费延时日志，2分钟上报一次。指定查询消费组快照日志时，需要在查询语句中指定__topic__: consumergroup_log。
Logtail告警日志 Logtail的错误日志。

每30秒记录一次，30秒内重复出现的错误类型只记录错误总和，错误Message随机选择一条。指定查询Logtail告警日志时，需要在查询语句中指定__topic__: logtail_alarm。

Logtail采集日志 Logtail文件采集统计信息。

10分钟记录一次。指定查询Logtail采集日志时，需要在查询语句中指定__topic__: logtail_profile。

计量日志 用户计量相关统计。

Logstore粒度的存储空间，读写流量，索引流量，请求次数等统计信息。每小时统计一次。指定查询计量日志时，需要在查询语句中指定__topic__: metering。

Logtail状态日志

Logtail定时上报的状态日志。

每分钟记录一次。指定查询Logtail状态日志时，需要在查询语句中指定__topic__: logtail_status。

用户操作日志

操作日志可以根据Method字段分为读数据、写数据和资源操作三种操作。
分类 方法
读数据
  • GetLogStoreHistogram
  • GetLogStoreLogs
  • P​ullData
  • GetCursor
  • GetCursorTime
写数据
  • PostLogStoreLogs
  • WebTracking
资源操作 CreateProject、DeleteProject等其他方法。

公共字段

所有操作的公共字段如下表所示。
字段 描述 示例
APIVersion API 版本。 0.6.0
InvokerUid 执行操作的用户的账户id。 1759218115323050
NetworkOut 通过公网入口读取的流量，单位为字节。 10
Latency 请求延时，单位为微秒。 123279
LogStore Logstore的名称。 logstore-1
Method 执行方法。 GetLogStoreLogs
Project Project名称。 project-1
NetOutFlow 读取的流量，单位为字节。 120
RequestId 请求ID。 8AEADC8B0AF2FA2592C9509E
SourceIP 发送请求的客户端IP。 1.2.3.4
Status 请求响应状态码。 200
UserAgent 客户端用户代理。 sls-java-sdk-v-0.6.1

读操作字段

读请求特有的字段如下表所示：
字段 描述 示例
BeginTime 请求开始时间，Unix时间戳。 1523868463
DataStatus 请求响应数据状态。包括Complete、OK、Unknown等。 OK
EndTime 请求结束时间，Unix时间戳。 1523869363
Offset GetLog请求偏移行数。 20
Query 原始查询语句。 UserAgent: [consumer-group-java]*
RequestLines 期望返回行数。 100
ResponseLines 返回结果行数。 100
Reverse 是否按日志时间戳逆序返回日志，其中：
  • 1 表示逆序。
  • 0表示顺序。
默认值为 0。 		0
TermUnit 搜索语句中包含的词项个数。 0
Topic 读取的主题名称。 topic-1

写操作字段

写请求特有的字段如下表所示：
字段 描述 示例
InFlow 原始写入字节数。 200
InputLines 请求写入行数。 10
NetInflow 压缩之后的写入字节数。 100
Shard 写入的Shard Id。 1
Topic 数据写入的topic。 topic-1

消费组快照日志

字段 描述 示例
consumer_group 消费组名称。 consumer-group-1
fallbehind 当前消费位置距离最新写入日志的落后时间，单位为秒。 12345
logstore 日志库名称。 logstore-1
project 项目名称。 project-1
shard Shard Id。 1

Logtail告警日志

字段 描述 示例
alarm_count 采样窗口内告警次数。 10
alarm_message 触发告警的原始日志采样。 M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
alarm_type 告警类型。 REGISTER_INOTIFY_FAIL_ALARM
logstore 日志库名称。 logstore-1
source_ip Logtail运行的机器IP地址。 1.2.3.4
os 操作系统，Linux或Windows等。 Linux
project 项目名称。 project-1
version Logtail版本。 0.14.2

Logtail采集日志

Logtail采集日志可以根据字段 file_name分为两类，一类是针对单个文件的采集统计信息，一类是Logstore级别的统计信息，即 file_name为 logstore_statistics的部分。当 file_name为 logstore_statistics时，文件相关的字段如 file_dev 、 file_inode无意义。字段说明如下表所示。
字段 描述 示例
logstore 日志库名称。 logstore-1
config_name 采集配置名。由##配置版本号##projectName$配置名称组成的全局唯一配置名。 ##1.0##project-1$logstore-1
error_line 引起错误的原始日志。 M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
file_dev 该日志文件的device ID。 1​23
file_inode 该日志文件的inode。 124
file_name 日志文件完整路径或者或者logstore_statistics。 /abc/file_1
file_size 当前文件大小，单位为字节。 12345
history_data_failures 历史处理失败次数。 0
last_read_time 窗口内最近的读取时间，Unix时间戳。 1525346677
project 项目名称。 project-1
logtail_version Logtail版本。 0.14.2
os 操作系统。 Windows
parse_failures 窗口日志解析失败的行数。 12
read_avg_delay 窗口内平均每次读取时当前偏移量与文件大小差值的平均值。 65
read_count 窗口内日志读取次数。 10
read_offset 当前读取到文件偏移位置，单位为字节。 12345
regex_match_failures 正则表达式匹配失败次数。 1
send_failures 窗口内发送失败的次数。 12
source_ip Logtail运行机器IP地址。 1.2.3.4
succeed_lines 处理成功的Log行数。 123
time_format_failures 日志时间匹配失败次数。 122
total_bytes 读取的总字节数。 12345
如下字段只有在 file_name为 logstore_statistics时才会存在：
字段 描述 示例
send_block_flag 窗口结束时发送队列是否阻塞。 false
send_discard_error 窗口内因数据异常或无权限导致丢弃数据包的个数。 0
send_network_error 窗口内因网络错误导致发送失败的数据包个数。 12
send_queue_size 窗口结束时当前发送队列中未发送数据包数。 3
send_quota_error 窗口内因quota超限导致发送失败的数据包个数。 0
send_success_count 窗口内发送成功的数据包个数 12345
sender_valid_flag 窗口结束时该Logstore的发送标志位是否有效，其中：
  • true表示正常。
  • false表示可能因为网络错误或quota错误而被禁用。
 true
max_send_success_time 窗口内发送成功数据的最大时间。Unix时间戳。 1525342763
max_unsend_time 窗口结束时发送队列中未发送数据包的最大时间，队列空时为0。Unix时间戳。 1525342764
min_unsend_time 窗口结束时发送队列中未发送数据包的最小时间，队列空时为0。Unix时间戳。 1525342764

计量日志

字段 描述 示例
begin_time 统计窗口开始时间，Unix时间戳。 1525341600
index_flow 统计窗口内索引流量，单位为字节。 12312
inflow 统计窗口内写入流量，单位为字节。 12345
logstore Logstore名称。 logstore-1
network_out 统计窗口内流出到公网流量，单位为字节。 12345
outflow 统计窗口内读取流量，单位为字节。 23456
project 项目名称。 project-1
read_count 统计窗口内读操作次数。 100
shard 统计窗口内平均使用shard个数。 10.0
storage_index 统计时间点Logstore内索引总存储用量，单位为字节。 10000000
storage_raw 统计时间点Logstore内日志总存储用量，单位为字节。 20000000
write_count 统计窗口内写操作次数。 199

Logtail状态日志

字段 描述 示例
cpu 进程CPU负载。 ​0.001333156
hostname 主机名。 abc2.et12
instance_id 实例ID，是一个随机ID。 ​05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_1517456122
ip IP地址。 ​1.0.1.0
load 系统平均负载。 ​0.01 0.04 0.05 2/376 5277
memory Logtail进程占用的内存大小，单位为MB。 12
detail_metric 各项计量值，JSON格式，详细内容请参考detail_metric。 detail_metric
os 操作系统。 Linux​
os_cpu 系统整体的CPU使用率。 ​0.004120005
os_detail 操作系统详细信息。 ​2.6.32-220.23.8.tcp1.34.el6.x86_64
status 客户端状态，包括：
  • ok
  • busy
  • many_log_files
  • process_block
  • send_block
  • send_error
详细说明请查看Logtail运行状态。 		​busy
user 用户名。 ​root
user_defined_id 用户定义的ID。 ​aliyun-log-id
uuid 机器的uuid。 ​64F28D10-D100-492C-8FDC-0C62907F1234
version Logtail版本。 ​0.14.2
project Logtail配置所属的Project。 my-project
其中，字段 detail_metric 包含如下属性：
字段 描述 示例
config_count Logtail配置数量。 ​1
config_get_last_time 上一次获取配置的时间。 ​1525686673
config_update_count Logtail启动之后配置的更新次数。 ​1
config_update_item_count Logtail启动之后配置项的更新总和。 ​1
config_update_last_time Logtail启动之后配置的最后一次更新时间。 ​1
event_tps 事件数TPS。 1​
last_read_event_time 上一次获取事件的时间。 ​1525686663
last_send_time 上一次发送数据的时间。 ​1525686663
open_fd 目前打开的文件数量。 ​1
poll_modify_size 监听修改事件的文件数量。 ​1
polling_dir_cache 扫描的文件夹数量。 ​1
polling_file_cache 扫描的文件数量。 ​1
process_byte_ps 每秒处理的日志量（字节）。 ​1000
process_lines_ps 每秒处理的日志条数。 ​1000
process_queue_full 达到最大长度限制的发送队列个数。 ​1
process_queue_total 处理队列数量。 ​10
process_tps 处理TPS。 ​0
reader_count 正在处理的文件数。 ​1
region Logtail所在的地域。 ​cn-hangzhou,cn-shanghai
register_handler 注册监听的文件夹数量。 ​1
send_byte_ps 每秒发送的原始日志量（字节）。 ​11111
send_line_ps 每秒发送的日志条数。 1000​
send_net_bytes_ps 每秒发送的网络数据量（字节）。 1000​
send_queue_full 达到最大长度限制的发送队列个数。 ​1
send_queue_total 发送队列数量。 ​12
send_tps 发送TPS。 ​0.075
sender_invalid 异常的发送队列数。 ​0