日志服务提供的服务日志功能可记录多种日志类型,本文介绍各种日志类型及不同日志类型的日志字段。
日志类型
开启服务日志功能时,可以选择记录的日志类型,具体如下:
日志类型 | 概述 | Logstore名称 | 日志来源 | 说明 |
---|---|---|---|---|
详细日志 | 包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。 | internal-operation_log | 操作日志 | 所有API请求和操作日志,包括控制台、消费组、SDK等所有客户端发送的请求。 |
重要日志 | 包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。 | internal-diagnostic_log | 消费组延迟日志 | 消费组的消费延时日志,2分钟上报一次。指定查询消费组延迟日志时,需要在查询语句中指定__topic__: consumergroup_log 。
|
Logtail告警日志 | Logtail的错误日志。
每30秒记录一次,30秒内重复出现的错误类型只记录错误总和,错误Message随机选择一条。指定查询Logtail告警日志时,需要在查询语句中指定 |
|||
Logtail采集日志 | Logtail采集统计信息。
10分钟记录一次。指定查询Logtail采集日志时,需要在查询语句中指定 |
|||
Logtail状态日志 |
Logtail定时上报的状态日志。 每分钟记录一次。指定查询Logtail状态日志时,需要在查询语句中指定__topic__: logtail_status 。
|
操作日志
操作日志可以根据Method字段分为读操作、写操作和资源操作三类日志,具体如下:
分类 | 方法 |
---|---|
读操作 | 产生读操作日志的请求方式如下:
|
写操作 | 产生写操作日志的请求方式如下:
|
资源操作 | 产生资源操作日志的请求方式如下:
CreateProject、DeleteProject等其他接口。 |
操作日志的公共字段如下:
字段 | 描述 | 示例 |
---|---|---|
APIVersion | API版本。 | 0.6.0 |
AccessKeyId | 访问日志服务时使用的访问密钥。 | LTAI4FkSqNGBsVTqVZYx**** |
CallerType | 访问用户类型。 | Subuser |
InvokerUid | 执行操作的用户的账户ID。 | 175921811532**** |
Latency | 请求延时,单位为微秒。 | 123279 |
LogStore | Logstore的名称。 | logstore-1 |
Method | 产生该日志的请求方式。 | GetLogStoreLogs |
NetOutFlow | 读取的流量,单位为字节。 | 120 |
NetworkOut | 通过公网入口读取的流量,单位为字节。 | 10 |
Project | 操作的Project名称。 | project-1 |
RequestId | 请求ID。 | 8AEADC8B0AF2FA2592C9**** |
SourceIP | 发送请求的客户端IP。 | 1.2.3.4 |
Status | 请求响应的状态码。 | 200 |
UserAgent | 客户端用户代理。 | sls-java-sdk-v-0.6.1 |
操作日志中读操作日志特有的字段如下所示:
字段 | 描述 | 示例 |
---|---|---|
BeginTime | 请求开始时间,Unix时间戳。 | 1523868463 |
DataStatus | 请求响应数据状态。包括Complete、OK、Unknown等。 | OK |
EndTime | 请求结束时间,Unix时间戳。 | 1523869363 |
Offset | GetLog请求偏移行数。 | 20 |
Query | 原始查询语句。 | UserAgent: [consumer-group-java]* |
RequestLines | 期望返回行数。 | 100 |
ResponseLines | 返回结果行数。 | 100 |
Reverse | 是否按日志时间戳逆序返回日志,其中:
|
0 |
TermUnit | 搜索语句中包含的词项个数。 | 0 |
Topic | 读取数据的主题名称。 | topic-1 |
操作日志中写操作日志特有的字段如下所示:
字段 | 描述 | 示例 |
---|---|---|
InFlow | 原始写入字节数。 | 200 |
InputLines | 请求写入行数。 | 10 |
NetInflow | 压缩之后的写入字节数。 | 100 |
Shard | 写入的Shard ID。 | 1 |
Topic | 数据写入的主题名称。 | topic-1 |
消费组延迟日志
消费组的消费延迟日志字段如下:
字段 | 描述 | 示例 |
---|---|---|
consumer_group | 消费组名称。 | consumer-group-1 |
fallbehind | 当前消费位置距离最新写入日志的落后时间,单位为秒。 | 12345 |
logstore | 日志库名称。 | logstore-1 |
project | 项目名称。 | project-1 |
shard | 消费的Shard ID。 | 1 |
Logtail告警日志
Logtail告警日志字段如下:
字段 | 描述 | 示例 |
---|---|---|
alarm_count | 时间窗口内的告警次数。 | 10 |
alarm_message | 触发告警的原始日志采样。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
alarm_type | 告警类型。 | REGISTER_INOTIFY_FAIL_ALARM |
logstore | 日志库名称。 | logstore-1 |
os | 操作系统:如Linux或Windows等。 | Linux |
project | 项目名称。 | project-1 |
source_ip | Logtail运行的机器IP地址。 | 1.2.3.4 |
version | Logtail的版本。 | 0.14.2 |
Logtail采集日志
Logtail采集日志可以根据字段
file_name
分为如下两类:
- 针对单个文件的采集统计信息。
- 针对Logstore的统计信息,即
file_name
为logstore_statistics
的部分。
字段说明如下所示:
字段 | 描述 | 示例 |
---|---|---|
logstore | 日志库名称。 | logstore-1 |
config_name | 采集配置名。由##配置版本号##projectName$配置名称 组成的全局唯一配置名。
|
##1.0##project-1$logstore-1 |
error_line | 引起错误的原始日志。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
file_dev | 该日志文件的device ID。
说明 当
file_name 为logstore_statistics 时,该字段无意义。
|
123 |
file_inode | 该日志文件的inode。
说明 当
file_name 为logstore_statistics 时,该字段无意义。
|
124 |
file_name | 日志文件完整路径或者logstore_statistics 。
|
/abc/file_1 |
file_size | 当前文件大小,单位为字节。 | 12345 |
history_data_failures | 历史处理失败次数。 | 0 |
last_read_time | 窗口内最近的读取时间,Unix时间戳。 | 1525346677 |
project | 项目名称。 | project-1 |
logtail_version | Logtail版本。 | 0.14.2 |
os | 操作系统。 | Windows |
parse_failures | 窗口日志解析失败的行数。 | 12 |
read_avg_delay | 窗口内平均每次读取日志数据时,当前偏移量与文件大小差值的平均值。 | 65 |
read_count | 窗口内日志读取次数。 | 10 |
read_offset | 当前读取到文件偏移位置,单位为字节。 | 12345 |
regex_match_failures | 正则表达式匹配失败次数。 | 1 |
send_failures | 窗口内发送失败的次数。 | 12 |
source_ip | Logtail运行机器IP地址。 | 1.2.3.4 |
succeed_lines | 处理成功的Log行数。 | 123 |
time_format_failures | 日志时间匹配失败次数。 | 122 |
total_bytes | 读取的总字节数。 | 12345 |
Logstore统计特有日志字段只有在
file_name
为logstore_statistics
时才会存在,具体如下:
字段 | 描述 | 示例 |
---|---|---|
send_block_flag | 窗口结束时发送队列是否阻塞。 | false |
send_discard_error | 窗口内因数据异常或无权限导致丢弃数据包的个数。 | 0 |
send_network_error | 窗口内因网络错误导致发送失败的数据包个数。 | 12 |
send_queue_size | 窗口结束时当前发送队列中未发送数据包数。 | 3 |
send_quota_error | 窗口内因quota超限导致发送失败的数据包个数。 | 0 |
send_success_count | 窗口内发送成功的数据包个数。 | 12345 |
sender_valid_flag | 窗口结束时该Logstore的发送标志位是否有效,其中:
|
true |
max_send_success_time | 在时间窗口内最近一次发送数据成功的时间,为Unix时间戳。 | 1525342763 |
max_unsend_time | 在时间窗口内,发送队列中最近一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。 | 1525342764 |
min_unsend_time | 在时间窗口内,发送队列中第一次数据包发送失败的时间。Unix时间戳,队列空时为0。 | 1525342764 |
Logtail状态日志
Logtail状态日志字段如下:
字段 | 描述 | 示例 |
---|---|---|
cpu | 进程CPU的负载。 | 0.001333156 |
hostname | 主机名。 | abc2.**** |
instance_id | 实例ID,是一个随机的ID。 | 05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745**** |
ip | IP地址。 | 1.0.1.0 |
load | 系统平均负载。 | 0.01 0.04 0.05 2/376 5277 |
memory | Logtail进程占用的内存大小,单位为MB。 | 12 |
detail_metric | 各项计量值,JSON格式,详细内容请参见detail_metric。 | detail_metric |
os | 操作系统。 | Linux |
os_cpu | 系统整体的CPU使用率。 | 0.004120005 |
os_detail | 操作系统详细信息。 | 2.6.32-220.23.8.tcp1.34.el6.x86_64 |
status | 客户端状态,包括:
|
busy |
user | 用户名。 | root |
user_defined_id | 用户定义的ID。 | aliyun-log-id |
uuid | 机器的UUID。 | 64F28D10-D100-492C-8FDC-0C62907F**** |
version | Logtail版本。 | 0.14.2 |
project | Logtail配置所属的Project。 | my-project |
其中,字段detail_metric包含的字段值如下:
字段 | 描述 | 示例 |
---|---|---|
config_count | Logtail采集配置数量。 | 1 |
config_get_last_time | 上一次获取配置的时间。 | 1525686673 |
config_update_count | Logtail启动之后配置的更新次数。 | 1 |
config_update_item_count | Logtail启动之后配置项的更新总和。 | 1 |
config_update_last_time | Logtail启动之后配置的最后一次更新时间。 | 1525686663 |
event_tps | 事件TPS。 | 1 |
last_read_event_time | 上一次获取事件的时间。 | 1525686663 |
last_send_time | 上一次发送数据的时间。 | 1525686663 |
open_fd | 目前打开的文件数量。 | 1 |
poll_modify_size | 监听修改事件的文件数量。 | 1 |
polling_dir_cache | 扫描的文件夹数量。 | 1 |
polling_file_cache | 扫描的文件数量。 | 1 |
process_byte_ps | 每秒处理的日志量(字节)。 | 1000 |
process_lines_ps | 每秒处理的日志条数。 | 1000 |
process_queue_full | 达到最大长度限制的发送队列个数。 | 1 |
process_queue_total | 处理队列数量。 | 10 |
process_tps | 处理TPS。 | 0 |
reader_count | 正在处理的文件数。 | 1 |
region | Logtail所在的地域。 | cn-hangzhou,cn-shanghai |
register_handler | 要监控的文件夹数量。 | 1 |
send_byte_ps | 每秒发送的原始日志量(字节)。 | 11111 |
send_line_ps | 每秒发送的日志条数。 | 1000 |
send_net_bytes_ps | 每秒发送的网络数据量(字节)。 | 1000 |
send_queue_full | 达到最大长度限制的发送队列个数。 | 1 |
send_queue_total | 发送队列数量。 | 12 |
send_tps | 发送TPS。 | 0.075 |
sender_invalid | 异常的发送队列数。 | 0 |
在文档使用中是否遇到以下问题
更多建议
匿名提交