服务日志类型

日志服务提供的服务日志功能可记录详细日志、重要日志和任务运行日志,本文介绍不同日志类型的日志字段。

日志类型

开启服务日志功能时,您可以选择服务日志的类型,具体说明如下表所示。

重要

为保证您自定义查询语句的兼容性,建议您在查询语句中通过__topic__: XXX指定特定的日志类型。

日志类型

概述

Logstore名称

日志详情

说明

详细日志

包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。

说明

不包括通过JDBC协议访问产生的日志。

internal-operation_log

详细日志

所有API请求和操作所涉及的详细日志,包括控制台、消费组、SDK等所有客户端发送的请求。

重要日志

包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。

internal-diagnostic_log

消费组延迟日志

消费组的消费延时日志,每2分钟上报一次。指定查询消费组延迟日志时,需要在查询语句中指定__topic__: consumergroup_log

Logtail告警日志

Logtail的错误日志。

每30秒记录一次,30秒内重复出现的错误类型只记录错误总和,错误Message随机选择一条。指定查询Logtail告警日志时,需要在查询语句中指定__topic__: logtail_alarm

Logtail采集日志

Logtail采集统计信息。

10分钟记录一次。查询Logtail采集日志时,需要在查询语句中指定__topic__: logtail_profile

Logtail状态日志

Logtail定时上报的状态日志。

每分钟记录一次。指定查询Logtail状态日志时,需要在查询语句中指定__topic__: logtail_status

任务运行日志

记录指定Project内数据加工(新版)、定时SQL、数据导入、数据投递(新版)任务的运行指标和运行日志。

internal-diagnostic_log

定时SQL任务运行日志

一个定时SQL实例对应一条定时SQL日志,即一个定时SQL实例运行结束后,上报一条日志。

查询定时SQL运行日志时,需要在查询语句中指定__topic__: scheduled_sql_alert

数据加工(新版)、导入和投递(新版)任务运行日志

每分钟上报一次日志。任务相关的数据源无数据时,不会上报。

查询任务运行日志时,需要在查询语句中指定__topic__: etl_metrics

详细日志

根据Method字段,详细日志被分为读操作、写操作和资源操作三类日志,具体如下:

分类

请求方式

读操作

产生读操作日志的请求方式如下:

  • GetHistograms

  • GetLogs

  • PullLogs

  • GetCursor

  • GetCursorTime

写操作

产生写操作日志的请求方式如下:

  • PostLogStoreLogs

  • PutWebTracking

  • WebTrackingImg

  • BatchPostLogStoreLogs

  • WebTracking

  • PutData

资源操作

产生资源操作日志的请求方式如下:

CreateProject、DeleteProject等其他接口。

详细日志的公共字段

字段

说明

示例

APIVersion

API版本。

0.6.0

AccessKeyId

访问日志服务时使用的访问密钥。

LTA****TRx

CallerType

访问用户的类型。

Subuser

InvokerUid

执行操作的阿里云账号ID。

175****532

Latency

请求延时,单位:微秒。

123279

LogStore

操作的Logstore名称。

logstore-1

Method

产生该日志的请求方式。

GetLogStoreLogs

NetOutFlow

读取的流量,单位:字节。

120

NetworkOut

通过公网入口读取的流量,单位:字节。

10

Project

操作的Project名称。

project-1

RequestId

请求ID。

8AEADC8B0AF2FA2592C9****

SourceIP

发送请求的客户端IP地址。

47.100.**.**

Status

请求响应的状态码。

200

UserAgent

客户端用户代理。

sls-java-sdk-v-0.6.1

读操作详细日志特有字段

字段

说明

示例

BeginTime

请求开始时间,格式为Unix时间戳。

1523868463

DataStatus

请求响应数据状态。包括Complete、OK、Unknown等。

OK

EndTime

请求结束时间,格式为Unix时间戳。

1523869363

Offset

GetLogs请求偏移行数。

20

Query

原始查询语句。

UserAgent: [consumer-group-java]*

RequestLines

期望返回行数。

100

ResponseLines

返回行数。

100

Reverse

是否按照日志时间戳逆序返回日志。

  • 1:按照逆序返回。

  • 0:按照顺序返回。

0

TermUnit

查询语句经过分词处理后包含的单词个数。

0

Topic

日志主题。

topic-1

写操作详细日志特有字段

字段

说明

示例

InFlow

原始写入数据的字节数。

200

InputLines

请求写入的行数。

10

NetInflow

压缩后,写入数据的字节数。

100

Shard

写入的Shard ID。

1

Topic

日志主题。

topic-1

消费组延迟日志

字段

说明

示例

consumer_group

消费组名称。

consumer-group-1

fallbehind

当前消费位置距离最新写入日志的落后时间,单位:秒。

12345

logstore

Logstore名称。

logstore-1

project

Project名称。

project-1

shard

消费的Shard ID。

1

Logtail告警日志

字段

说明

示例

alarm_count

时间窗口内的告警次数。

10

alarm_message

触发告警的原始日志采样。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

alarm_type

告警类型。

REGISTER_INOTIFY_FAIL_ALARM

logstore

Logstore名称。

logstore-1

os

操作系统,如Linux或Windows等。

Linux

project

Project名称。

project-1

source_ip

Logtail所在机器的IP地址。

47.100.**.**

version

Logtail版本号。

0.14.2

Logtail采集日志

Logtail采集日志可以根据file_name字段分为如下两类。

  • 针对单个文件的采集统计信息。

  • 针对Logstore的统计信息,即file_name字段值为logstore_statistics

字段说明如下所示:

字段

说明

示例

logstore

Logstore名称。

logstore-1

config_name

Logtail采集配置名称。由##配置版本号##projectName$配置名称组成,全局唯一。

##1.0##project-1$logstore-1

error_line

引起错误的原始日志。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

日志文件的device ID。

说明

file_namelogstore_statistics时,该字段无意义。

1​23

file_inode

日志文件的inode。

说明

file_namelogstore_statistics时,该字段无意义。

124

file_name

日志文件的完整路径或者值为logstore_statistics

/abc/file_1

file_size

日志文件大小,单位:字节。

12345

history_data_failures

历史处理失败次数。

0

last_read_time

时间窗口内最近的读取时间,Unix时间戳。

1525346677

project

Project名称。

project-1

logtail_version

Logtail版本。

0.14.2

os

操作系统。

Windows

parse_failures

时间窗口内日志解析失败的行数。

12

read_avg_delay

时间窗口内平均每次读取日志数据时,当前偏移量与文件大小差值的平均值。

65

read_count

时间窗口内日志读取次数。

10

read_offset

当前读取到文件偏移位置,单位:字节。

12345

regex_match_failures

正则表达式匹配失败次数。

1

send_failures

时间窗口内发送失败的次数。

12

source_ip

Logtail所在机器的IP地址。

47.100.**.**

succeed_lines

处理成功的日志行数。

123

time_format_failures

日志时间匹配失败次数。

122

total_bytes

读取的总字节数。

12345

Logstore统计特有日志字段,只有file_name字段值为logstore_statistics时才存在,具体说明如下表所示。

字段

说明

示例

send_block_flag

时间窗口结束时发送队列是否阻塞。

false

send_discard_error

时间窗口内因数据异常或无权限导致丢弃数据包的个数。

0

send_network_error

时间窗口内因网络错误导致发送失败的数据包个数。

12

send_queue_size

时间窗口结束时当前发送队列中未发送数据包数。

3

send_quota_error

时间窗口内因Quota超限导致发送失败的数据包个数。

0

send_success_count

时间窗口内发送成功的数据包个数。

12345

sender_valid_flag

时间窗口结束时该Logstore的发送标志位是否正常。

  • true:正常。

  • false:可能因为网络错误或Quota错误而被禁用。

true

max_send_success_time

在时间窗口内最近一次发送数据成功的时间,为Unix时间戳。

1525342763

max_unsend_time

在时间窗口内,发送队列中最近一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。

1525342764

min_unsend_time

在时间窗口内,发送队列中第一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。

1525342764

Logtail状态日志

字段

说明

示例

cpu

进程CPU的负载。

​0.001333156

hostname

主机名。

abc2.****

instance_id

实例ID,随机值。

​05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745****

ip

主机的IP地址。

​47.100.**.**

load

系统的平均负载。

​0.01 0.04 0.05 2/376 5277

memory

Logtail进程占用的内存大小,单位:MB。

12

detail_metric

各项计量值,JSON格式。更多信息,请参见detail_metric

detail_metric

os

操作系统。

Linux​

os_cpu

系统整体的CPU使用率。

​0.004120005

os_detail

操作系统详细信息。

​2.6.32-220.23.8.tcp1.34.el6.x86_64

user

用户名。

​user

user_defined_id

用户定义的ID。

​aliyun-log-id

uuid

机器的UUID。

​64F28D10-D100-492C-8FDC-0C62907F****

version

Logtail版本号。

​0.14.2

project

Logtail采集配置所属的Project。

my-project

其中,detail_metric字段包含如下子字段。

字段

说明

示例

config_count

Logtail采集配置的数量。

​1

config_get_last_time

上一次获取Logtail采集配置的时间。

2021-07-20 16:19:22

config_update_count

Logtail启动后,Logtail采集配置更新的次数。

​1

config_update_item_count

Logtail启动后,Logtail采集配置项更新的总和。

​1

config_update_last_time

Logtail启动后,Logtail采集配置最后一次更新的时间。

2021-07-20 16:18:42

env_config

是否使用环境变量创建Logtail采集配置。

false

event_tps

事件TPS。

1​

last_read_event_time

上一次获取事件的时间。

2021-07-20 16:18:42

last_send_time

上一次发送数据的时间。

2021-07-20 16:18:42

multi_config

是否开启多个Logtail采集配置采集相同的文件。

false

net_err_stat

最近1分钟、5分钟和15分钟内网络发生错误的次数。

0,0,0

open_fd

目前打开的文件数量。

​1

plugin_enabled

是否使用了插件功能。

  • true:使用了插件功能。

  • false:未使用插件功能。

false

poll_modify_size

监听修改事件的文件数量。

​1

polling_dir_cache

扫描的文件夹数量。

​1

polling_file_cache

扫描的文件数量。

​1

process_bytes_ps

每秒处理的日志量,单位:字节。

​1000

process_lines_ps

每秒处理的日志条数。

​1000

process_queue_full

达到最大长度限制的处理队列个数。

​1

process_queue_total

处理队列数量。

​10

process_tps

处理TPS。

​0

reader_count

正在处理的文件数。

​1

region

Logtail所在的地域。

​cn-hangzhou

register_handler

要监控的文件夹数量。

​1

send_bytes_ps

每秒发送的原始日志量(字节)。

​11111

send_lines_ps

每秒发送的日志条数。

1000​

send_net_bytes_ps

每秒发送的网络数据量(字节)。

1000​

send_queue_full

达到最大长度限制的发送队列个数。

​1

send_queue_total

发送队列数量。

​12

send_request_concurrency

发送并发上限数。

10

send_tps

发送TPS。

​0.075

sender_invalid

异常的发送队列数。

​0

start_time

启动时间。

2021-07-20 16:19:22

used_sending_concurrency

当前已使用的发送并发数。

0

定时SQL任务运行日志

字段

说明

示例

__topic__

日志主题,固定为scheduled_sql_alert。

scheduled_sql_alert。

project

定时SQL任务所在的Project。

my-project-name

job_name

定时SQL任务名称。

sql-16xxxxxxx-xxxxxx

schedule_id

任务ID。

77****ca

job_type

定时SQL任务类型,固定为ScheduledSQL。

ScheduledSQL

instance_id

定时SQL任务中实例的标识。

7e****dc

create_time

实例的创建时间,单位:秒。

1652343365

schedule_time

实例的调度时间,单位:秒。

1652343360

trigger_time

实例的触发时间,单位:秒。

1652343365

status

实例的执行结果,取值为FAILED、SUCCEEDED。

FAILED

error_code

实例执行失败时的错误原因。

SQLFailed

error_message

实例执行失败时的错误详情。

sql syntax error

fallbehind

实例的触发时间和调度时间的间隔,用于表示实例执行的延迟情况。单位:秒。

85

succeed_lines

  • 如果实例执行成功,该值代表写入行数。

  • 如果实例执行失败,该值为0。

100

数据加工(新版)、导入和投递(新版)任务运行日志

字段

说明

示例

__topic__

日志主题,固定为etl_metrics。

etl_metrics

metric_type

任务运行日志的类型标识,固定为ConnectorMetrics。

ConnectorMetrics

project

任务所属的Project。

my-sls-project

job_name

任务名称。

job-16****53

instance_id

任务运行的实例ID。

10e****b4f6

_etl_:connector_meta

数据源或者目标的任务元信息。更多信息,请参见_etl_:connector_meta

_etl_:connector_metrics

数据源或者目标的任务运行指标。更多信息,请参见_etl_:connector_metrics

_etl_:connector_meta字段包含如下子字段。

字段

说明

示例

action

任务的操作。

  • ingest: 从数据源读取数据

  • deliver:将数据写入到目标。

ingest

connector

数据源类型或者目标类型。

  • sls:阿里云日志服务

  • oss:阿里云对象存储

  • maxcompute:阿里云MaxCompute

  • cms:阿里云云监控服务

  • cloudtrail:AWS CloudTrail

  • kafka:Apache Kafka

  • elasticsearch:Elasticsearch

  • mysql:MySQL(开源、阿里云等厂商)

  • mssql:SQL Server(开源、阿里云等厂商)

oss

instance

数据源实例名称或目标实例名称。

my-oss-bucket

task_id

任务ID。

1669277

task_name

任务名称。

1652765276578_task_0

task_type

任务类型,固定为CONNECTOR。

CONNECTOR

_etl_:connector_metrics字段包含如下子字段。

字段

说明

示例

state

任务运行状态。

  • 0:正常。

  • 1:报错,可能减缓运行进度。

  • 2:失败,完全阻塞运行。

0

error

任务运行的错误信息。

无错误信息时,日志中不存在该字段。

fail to pull logs, unauthorized

lags

任务运行进度。

只针对数据读取任务,即action字段值为ingest时,日志中存在lags字段。该字段值与数据源类型(connector字段)相关。

  • connector字段为sls时,lags字段值表示Shard消费延迟时间,单位:秒。

  • connector字段为kafka时,lags字段值表示Topic级别的消费Lag。

  • connector字段为cms时,lags字段值表示云监控读取的延迟时间,单位:秒。

0.813

desc

只针对数据读取任务,即action字段值为ingest时,日志中存在desc字段。该字段值与数据源类型(connector字段)相关。

  • connector字段为sls时,desc字段值为时间单位s。

  • connector字段为kafka时,desc字段值为lags描述信息。

  • connector字段为cms时,desc字段值为时间单位s。

s

events

时间范围内处理的数据条目数。

13245

failed

时间范围内处理失败的数据条目数。

3

native_bytes

时间范围内处理的数据的原始大小。

7539125

events_bytes

时间范围内处理的数据被解析后的大小。

13295475

pub_net_bytes

时间范围内处理的数据的公网流量。

45678

req_count

时间范围内数据源或者目标的请求次数。

89

req_count

时间范围内数据源或者目标的平均请求延迟。

38

rate_limit_hits

时间范围内数据源或者目标请求被限流次数。

1

extras

其他相关信息。当字段值存在时,日志中才会展示该字段。

该字段值与数据源类型(connector字段)相关。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}