日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。

日志类型

开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。
重要 为保证您自定义查询语句的兼容性，建议您在查询语句中通过__topic__: XXX指定特定的日志类型。
日志类型概述Logstore名称日志详情说明
详细日志包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。
说明 不包括通过JDBC协议访问产生的日志。
internal-operation_log详细日志所有API请求和操作所涉及的详细日志，包括控制台、消费组、SDK等所有客户端发送的请求。
重要日志包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。internal-diagnostic_log消费组延迟日志消费组的消费延时日志，2分钟上报一次。指定查询消费组延迟日志时，需要在查询语句中指定__topic__: consumergroup_log。
Logtail告警日志Logtail的错误日志。

每30秒记录一次，30秒内重复出现的错误类型只记录错误总和，错误Message随机选择一条。指定查询Logtail告警日志时，需要在查询语句中指定__topic__: logtail_alarm。

Logtail采集日志Logtail采集统计信息。

10分钟记录一次。查询Logtail采集日志时，需要在查询语句中指定__topic__: logtail_profile。

Logtail状态日志

Logtail定时上报的状态日志。

每分钟记录一次。指定查询Logtail状态日志时，需要在查询语句中指定__topic__: logtail_status。
任务运行日志记录指定Project内定时SQL、数据导入、数据投递等任务的运行日志与报错信息。internal-diagnostic_log定时SQL任务运行日志一个定时SQL实例对应一条定时SQL日志，即一个定时SQL实例运行结束后，上报一条日志。

查询定时SQL运行日志时，需要在查询语句中指定__topic__: scheduled_sql_alert。

数据导入、投递等任务的运行日志每分钟上报一次日志。任务相关的数据源无数据时，不会上报。
查询任务运行日志时，需要在查询语句中指定__topic__: etl_metrics。
重要 此类日志只针对新版数据导入任务和新版数据投递任务。

详细日志

根据Method字段，详细日志被分为读操作、写操作和资源操作三类日志，具体如下：
分类请求方式
读操作产生读操作日志的请求方式如下：
  • GetHistograms
  • GetLogs
  • PullLogs
  • GetCursor
  • GetCursorTime
写操作产生写操作日志的请求方式如下：
  • PutLogs
  • PutWebtracking
资源操作产生资源操作日志的请求方式如下：

CreateProject、DeleteProject等其他接口。

详细日志的公共字段

字段说明示例
APIVersionAPI版本。0.6.0
AccessKeyId访问日志服务时使用的访问密钥。LTA****TRx
CallerType访问用户的类型。Subuser
InvokerUid执行操作的阿里云账号ID。175****532
Latency请求延时，单位：微秒。123279
LogStore操作的Logstore名称。logstore-1
Method产生该日志的请求方式。GetLogStoreLogs
NetOutFlow读取的流量，单位：字节。120
NetworkOut通过公网入口读取的流量，单位：字节。10
Project操作的Project名称。project-1
RequestId请求ID。8AEADC8B0AF2FA2592C9****
SourceIP发送请求的客户端IP地址。47.100.**.**
Status请求响应的状态码。200
UserAgent客户端用户代理。sls-java-sdk-v-0.6.1

读操作详细日志特有字段

字段说明示例
BeginTime请求开始时间，格式为Unix时间戳。1523868463
DataStatus请求响应数据状态。包括Complete、OK、Unknown等。OK
EndTime请求结束时间，格式为Unix时间戳。1523869363
OffsetGetLogs请求偏移行数。20
Query原始查询语句。UserAgent: [consumer-group-java]*
RequestLines期望返回行数。100
ResponseLines返回行数。100
Reverse是否按照日志时间戳逆序返回日志。
  • 1：按照逆序返回。
  • 0：按照顺序返回。
0
TermUnit查询语句经过分词处理后包含的单词个数。0
Topic日志主题。topic-1

写操作详细日志特有字段

字段说明示例
InFlow原始写入数据的字节数。200
InputLines请求写入的行数。10
NetInflow压缩后，写入数据的字节数。100
Shard写入的Shard ID。1
Topic日志主题。topic-1

消费组延迟日志

字段说明示例
consumer_group消费组名称。consumer-group-1
fallbehind当前消费位置距离最新写入日志的落后时间，单位：秒。12345
logstoreLogstore名称。logstore-1
projectProject名称。project-1
shard消费的Shard ID。1

Logtail告警日志

字段说明示例
alarm_count时间窗口内的告警次数。10
alarm_message触发告警的原始日志采样。M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
alarm_type告警类型。REGISTER_INOTIFY_FAIL_ALARM
logstoreLogstore名称。logstore-1
os操作系统，如Linux或Windows等。Linux
projectProject名称。project-1
source_ipLogtail所在机器的IP地址。47.100.**.**
versionLogtail版本号。0.14.2

Logtail采集日志

Logtail采集日志可以根据file_name字段分为如下两类。
  • 针对单个文件的采集统计信息。
  • 针对Logstore的统计信息，即file_name字段值为logstore_statistics。
字段说明如下所示：
字段说明示例
logstoreLogstore名称。logstore-1
config_nameLogtail采集配置名称。由##配置版本号##projectName$配置名称组成，全局唯一。##1.0##project-1$logstore-1
error_line引起错误的原始日志。M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
file_dev日志文件的device ID。
说明 当file_name为logstore_statistics时，该字段无意义。
1​23
file_inode日志文件的inode。
说明 当file_name为logstore_statistics时，该字段无意义。
124
file_name日志文件的完整路径或者值为logstore_statistics。/abc/file_1
file_size日志文件大小，单位：字节。12345
history_data_failures历史处理失败次数。0
last_read_time时间窗口内最近的读取时间，Unix时间戳。1525346677
projectProject名称。project-1
logtail_versionLogtail版本。0.14.2
os操作系统。Windows
parse_failures时间窗口内日志解析失败的行数。12
read_avg_delay时间窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。65
read_count时间窗口内日志读取次数。10
read_offset当前读取到文件偏移位置，单位：字节。12345
regex_match_failures正则表达式匹配失败次数。1
send_failures时间窗口内发送失败的次数。12
source_ipLogtail所在机器的IP地址。47.100.**.**
succeed_lines处理成功的日志行数。123
time_format_failures日志时间匹配失败次数。122
total_bytes读取的总字节数。12345
Logstore统计特有日志字段，只有file_name字段值为logstore_statistics时才存在，具体说明如下表所示。
字段说明示例
send_block_flag时间窗口结束时发送队列是否阻塞。false
send_discard_error时间窗口内因数据异常或无权限导致丢弃数据包的个数。0
send_network_error时间窗口内因网络错误导致发送失败的数据包个数。12
send_queue_size时间窗口结束时当前发送队列中未发送数据包数。3
send_quota_error时间窗口内因Quota超限导致发送失败的数据包个数。0
send_success_count时间窗口内发送成功的数据包个数。12345
sender_valid_flag时间窗口结束时该Logstore的发送标志位是否正常。
  • true：正常。
  • false：可能因为网络错误或Quota错误而被禁用。
true
max_send_success_time在时间窗口内最近一次发送数据成功的时间，为Unix时间戳。1525342763
max_unsend_time在时间窗口内，发送队列中最近一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。1525342764
min_unsend_time在时间窗口内，发送队列中第一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。1525342764

Logtail状态日志

字段说明示例
cpu进程CPU的负载。​0.001333156
hostname主机名。abc2.****
instance_id实例ID，随机值。​05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745****
ip主机的IP地址。​47.100.**.**
load系统的平均负载。​0.01 0.04 0.05 2/376 5277
memoryLogtail进程占用的内存大小，单位：MB。12
detail_metric各项计量值，JSON格式。更多信息，请参见detail_metric。detail_metric
os操作系统。Linux​
os_cpu系统整体的CPU使用率。​0.004120005
os_detail操作系统详细信息。​2.6.32-220.23.8.tcp1.34.el6.x86_64
status客户端状态。
  • ok
  • busy
  • many_log_files
  • process_block
  • send_block
  • send_error
更多信息，请参见Logtail运行状态。		​busy
user用户名。​user
user_defined_id用户定义的ID。​aliyun-log-id
uuid机器的UUID。​64F28D10-D100-492C-8FDC-0C62907F****
versionLogtail版本号。​0.14.2
projectLogtail采集配置所属的Project。my-project
其中，detail_metric字段包含如下子字段。
字段说明示例
config_countLogtail采集配置的数量。​1
config_get_last_time上一次获取Logtail采集配置的时间。2021-07-20 16:19:22
config_update_countLogtail启动后，Logtail采集配置更新的次数。​1
config_update_item_countLogtail启动后，Logtail采集配置项更新的总和。​1
config_update_last_timeLogtail启动后，Logtail采集配置最后一次更新的时间。2021-07-20 16:18:42
env_config是否使用环境变量创建Logtail采集配置。false
event_tps事件TPS。1​
last_read_event_time上一次获取事件的时间。2021-07-20 16:18:42
last_send_time上一次发送数据的时间。2021-07-20 16:18:42
multi_config是否开启多个Logtail采集配置采集相同的文件。false
net_err_stat最近1分钟、5分钟和15分钟内网络发生错误的次数。0,0,0
open_fd目前打开的文件数量。​1
plugin_enabled是否使用了插件功能。
  • true：使用了插件功能。
  • false：未使用插件功能。
false
poll_modify_size监听修改事件的文件数量。​1
polling_dir_cache扫描的文件夹数量。​1
polling_file_cache扫描的文件数量。​1
process_bytes_ps每秒处理的日志量，单位：字节。​1000
process_lines_ps每秒处理的日志条数。​1000
process_queue_full达到最大长度限制的处理队列个数。​1
process_queue_total处理队列数量。​10
process_tps处理TPS。​0
reader_count正在处理的文件数。​1
regionLogtail所在的地域。​cn-hangzhou
register_handler要监控的文件夹数量。​1
send_bytes_ps每秒发送的原始日志量（字节）。​11111
send_lines_ps每秒发送的日志条数。1000​
send_net_bytes_ps每秒发送的网络数据量（字节）。1000​
send_queue_full达到最大长度限制的发送队列个数。​1
send_queue_total发送队列数量。​12
send_request_concurrency发送并发上限数。10
send_tps发送TPS。​0.075
sender_invalid异常的发送队列数。​0
start_time启动时间。2021-07-20 16:19:22
used_sending_concurrency当前已使用的发送并发数。0

定时SQL任务运行日志

字段说明示例
__topic__日志主题，固定为scheduled_sql_alert。scheduled_sql_alert。
project定时SQL任务所在的Project。my-project-name
job_name定时SQL任务名称。sql-16xxxxxxx-xxxxxx
schedule_id任务ID。77****ca
job_type定时SQL任务类型，固定为ScheduledSQL。ScheduledSQL
instance_id定时SQL任务中实例的标识。7e****dc
create_time实例的创建时间，单位：秒。1652343365
schedule_time实例的调度时间，单位：秒。1652343360
trigger_time实例的触发时间，单位：秒。1652343365
status实例的执行结果，取值为FAILED、SUCCEEDED。FAILED
error_code实例执行失败时的错误原因。SQLFailed
error_message实例执行失败时的错误详情。sql syntax error
fallbehind实例的触发时间和调度时间的间隔，用于表示实例执行的延迟情况。单位：秒。85
succeed_lines
  • 如果实例执行成功，该值代表写入行数。
  • 如果实例执行失败，该值为0。
100

数据导入、投递等任务的运行日志

字段说明示例
__topic__日志主题，固定为etl_metrics。etl_metrics
metric_type任务运行日志的类型标识，固定为ConnectorMetrics。ConnectorMetrics
project任务所属的Project。my-sls-project
job_name任务名称。job-16****53
instance_id任务运行的实例ID。10e****b4f6
_etl_:connector_meta数据源或者目标的任务元信息。更多信息，请参见_etl_:connector_meta。无
_etl_:connector_metrics数据源或者目标的任务运行指标。更多信息，请参见_etl_:connector_metrics。无
_etl_:connector_meta字段包含如下子字段。
字段说明示例
action任务的操作。
  • ingest： 从数据源读取数据
  • deliver：将数据写入到目标。
ingest
connector数据源类型或者目标类型。
  • sls：阿里云日志服务
  • oss：阿里云对象存储
  • maxcompute：阿里云MaxCompute
  • cms：阿里云云监控服务
  • cloudtrail：AWS CloudTrail
  • kafka：Apache Kafka
  • elasticsearch：Elasticsearch
  • mysql：MySQL（开源、阿里云等厂商）
  • mssql：SQL Server（开源、阿里云等厂商）
oss
instance数据源实例名称或目标实例名称。my-oss-bucket
task_id任务ID。1669277
task_name任务名称。1652765276578_task_0
task_type任务类型，固定为CONNECTOR。CONNECTOR
_etl_:connector_metrics字段包含如下子字段。
字段说明示例
state任务运行状态。
  • 0：正常。
  • 1：报错，可能减缓运行进度。
  • 2：失败，完全阻塞运行。
0
error任务运行的错误信息。

无错误信息时，日志中不存在该字段。

fail to pull logs, unauthorized
lags任务运行进度。

只针对数据读取任务，即action字段值为ingest时，日志中存在lags字段。该字段值与数据源类型（connector字段）相关。

  • 当connector字段为sls时，lags字段值表示Shard消费延迟时间，单位：秒。
  • 当connector字段为kafka时，lags字段值表示Topic级别的消费Lag。
  • 当connector字段为cms时，lags字段值表示云监控读取的延迟时间，单位：秒。
0.813
desc只针对数据读取任务，即action字段值为ingest时，日志中存在desc字段。该字段值与数据源类型（connector字段）相关。
  • 当connector字段为sls时，desc字段值为时间单位s。
  • 当connector字段为kafka时，desc字段值为lags描述信息。
  • 当connector字段为cms时，desc字段值为时间单位s。
s
events时间范围内处理的数据条目数。13245
failed时间范围内处理失败的数据条目数。3
native_bytes时间范围内处理的数据的原始大小。7539125
events_bytes时间范围内处理的数据被解析后的大小。13295475
pub_net_bytes时间范围内处理的数据的公网流量。45678
req_count时间范围内数据源或者目标的请求次数。89
req_count时间范围内数据源或者目标的平均请求延迟。38
rate_limit_hits时间范围内数据源或者目标请求被限流次数。1
extras其他相关信息。当字段值存在时，日志中才会展示该字段。

该字段值与数据源类型（connector字段）相关。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}