日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。
日志类型
开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。
重要 为保证您自定义查询语句的兼容性，建议您在查询语句中通过
__topic__: XXX指定特定的日志类型。
| 日志类型 | 概述 | Logstore名称 | 日志来源 | 说明 |
|---|---|---|---|---|
| 详细日志 | 包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。
说明 不包括通过JDBC协议访问产生的日志。
|
internal-operation_log | 操作日志 | 所有API请求和操作日志，包括控制台、消费组、SDK等所有客户端发送的请求。 |
| 重要日志 | 包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。 | internal-diagnostic_log | 消费组延迟日志 | 消费组的消费延时日志，2分钟上报一次。指定查询消费组延迟日志时，需要在查询语句中指定__topic__: consumergroup_log。
|
| Logtail告警日志 | Logtail的错误日志。
每30秒记录一次，30秒内重复出现的错误类型只记录错误总和，错误Message随机选择一条。指定查询Logtail告警日志时，需要在查询语句中指定 |
|||
| Logtail采集日志 | Logtail采集统计信息。
10分钟记录一次。查询Logtail采集日志时，需要在查询语句中指定 |
|||
| Logtail状态日志 |
Logtail定时上报的状态日志。 每分钟记录一次。指定查询Logtail状态日志时，需要在查询语句中指定__topic__: logtail_status。
|
|||
| 作业运行日志 | 记录指定Project内Scheduled SQL、数据导入、数据投递等作业的运行日志与报错信息。 | internal-diagnostic_log | Scheduled SQL作业运行日志 | 一个Scheduled SQL实例对应一条Scheduled SQL日志，即一个Scheduled SQL实例运行结束后，上报一条日志。
查询Scheduled SQL运行日志时，需要在查询语句中指定 |
| 数据导入、投递等作业的运行日志 | 每分钟上报一次日志。作业相关的数据源无数据时，不会上报。
查询作业运行日志时，需要在查询语句中指定
__topic__: etl_metrics。
说明 此类日志只针对新版数据导入作业和新版数据投递作业。
|
操作日志
根据Method字段，操作日志被分为读操作、写操作和资源操作三类日志，具体如下：
| 分类 | 请求方式 |
|---|---|
| 读操作 | 产生读操作日志的请求方式如下：
|
| 写操作 | 产生写操作日志的请求方式如下：
|
| 资源操作 | 产生资源操作日志的请求方式如下：
CreateProject、DeleteProject等其他接口。 |
操作日志的公共字段
| 字段 | 说明 | 示例 |
|---|---|---|
| APIVersion | API版本。 | 0.6.0 |
| AccessKeyId | 访问日志服务时使用的访问密钥。 | LTA****TRx |
| CallerType | 访问用户的类型。 | Subuser |
| InvokerUid | 执行操作的阿里云账号ID。 | 175****532 |
| Latency | 请求延时，单位：微秒。 | 123279 |
| LogStore | 操作的Logstore名称。 | logstore-1 |
| Method | 产生该日志的请求方式。 | GetLogStoreLogs |
| NetOutFlow | 读取的流量，单位：字节。 | 120 |
| NetworkOut | 通过公网入口读取的流量，单位：字节。 | 10 |
| Project | 操作的Project名称。 | project-1 |
| RequestId | 请求ID。 | 8AEADC8B0AF2FA2592C9**** |
| SourceIP | 发送请求的客户端IP地址。 | 47.100.**.** |
| Status | 请求响应的状态码。 | 200 |
| UserAgent | 客户端用户代理。 | sls-java-sdk-v-0.6.1 |
读操作日志特有字段
| 字段 | 说明 | 示例 |
|---|---|---|
| BeginTime | 请求开始时间，格式为Unix时间戳。 | 1523868463 |
| DataStatus | 请求响应数据状态。包括Complete、OK、Unknown等。 | OK |
| EndTime | 请求结束时间，格式为Unix时间戳。 | 1523869363 |
| Offset | GetLogs请求偏移行数。 | 20 |
| Query | 原始查询语句。 | UserAgent: [consumer-group-java]* |
| RequestLines | 期望返回行数。 | 100 |
| ResponseLines | 返回行数。 | 100 |
| Reverse | 是否按照日志时间戳逆序返回日志。
|
0 |
| TermUnit | 查询语句经过分词处理后包含的单词个数。 | 0 |
| Topic | 日志主题。 | topic-1 |
写操作日志特有字段
| 字段 | 说明 | 示例 |
|---|---|---|
| InFlow | 原始写入数据的字节数。 | 200 |
| InputLines | 请求写入的行数。 | 10 |
| NetInflow | 压缩后，写入数据的字节数。 | 100 |
| Shard | 写入的Shard ID。 | 1 |
| Topic | 日志主题。 | topic-1 |
消费组延迟日志
| 字段 | 说明 | 示例 |
|---|---|---|
| consumer_group | 消费组名称。 | consumer-group-1 |
| fallbehind | 当前消费位置距离最新写入日志的落后时间，单位：秒。 | 12345 |
| logstore | Logstore名称。 | logstore-1 |
| project | Project名称。 | project-1 |
| shard | 消费的Shard ID。 | 1 |
Logtail告警日志
| 字段 | 说明 | 示例 |
|---|---|---|
| alarm_count | 时间窗口内的告警次数。 | 10 |
| alarm_message | 触发告警的原始日志采样。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
| alarm_type | 告警类型。 | REGISTER_INOTIFY_FAIL_ALARM |
| logstore | Logstore名称。 | logstore-1 |
| os | 操作系统，如Linux或Windows等。 | Linux |
| project | Project名称。 | project-1 |
| source_ip | Logtail所在机器的IP地址。 | 47.100.**.** |
| version | Logtail版本号。 | 0.14.2 |
Logtail采集日志
Logtail采集日志可以根据file_name字段分为如下两类。
- 针对单个文件的采集统计信息。
- 针对Logstore的统计信息，即file_name字段值为
logstore_statistics。
字段说明如下所示：
| 字段 | 说明 | 示例 |
|---|---|---|
| logstore | Logstore名称。 | logstore-1 |
| config_name | Logtail采集配置名称。由##配置版本号##projectName$配置名称组成，全局唯一。
|
##1.0##project-1$logstore-1 |
| error_line | 引起错误的原始日志。 | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b |
| file_dev | 日志文件的device ID。
说明 当
file_name为logstore_statistics时，该字段无意义。
|
123 |
| file_inode | 日志文件的inode。
说明 当
file_name为logstore_statistics时，该字段无意义。
|
124 |
| file_name | 日志文件的完整路径或者值为logstore_statistics。
|
/abc/file_1 |
| file_size | 日志文件大小，单位：字节。 | 12345 |
| history_data_failures | 历史处理失败次数。 | 0 |
| last_read_time | 时间窗口内最近的读取时间，Unix时间戳。 | 1525346677 |
| project | Project名称。 | project-1 |
| logtail_version | Logtail版本。 | 0.14.2 |
| os | 操作系统。 | Windows |
| parse_failures | 时间窗口内日志解析失败的行数。 | 12 |
| read_avg_delay | 时间窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。 | 65 |
| read_count | 时间窗口内日志读取次数。 | 10 |
| read_offset | 当前读取到文件偏移位置，单位：字节。 | 12345 |
| regex_match_failures | 正则表达式匹配失败次数。 | 1 |
| send_failures | 时间窗口内发送失败的次数。 | 12 |
| source_ip | Logtail所在机器的IP地址。 | 47.100.**.** |
| succeed_lines | 处理成功的日志行数。 | 123 |
| time_format_failures | 日志时间匹配失败次数。 | 122 |
| total_bytes | 读取的总字节数。 | 12345 |
Logstore统计特有日志字段，只有
file_name字段值为logstore_statistics时才存在，具体说明如下表所示。
| 字段 | 说明 | 示例 |
|---|---|---|
| send_block_flag | 时间窗口结束时发送队列是否阻塞。 | false |
| send_discard_error | 时间窗口内因数据异常或无权限导致丢弃数据包的个数。 | 0 |
| send_network_error | 时间窗口内因网络错误导致发送失败的数据包个数。 | 12 |
| send_queue_size | 时间窗口结束时当前发送队列中未发送数据包数。 | 3 |
| send_quota_error | 时间窗口内因Quota超限导致发送失败的数据包个数。 | 0 |
| send_success_count | 时间窗口内发送成功的数据包个数。 | 12345 |
| sender_valid_flag | 时间窗口结束时该Logstore的发送标志位是否正常。
|
true |
| max_send_success_time | 在时间窗口内最近一次发送数据成功的时间，为Unix时间戳。 | 1525342763 |
| max_unsend_time | 在时间窗口内，发送队列中最近一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。 | 1525342764 |
| min_unsend_time | 在时间窗口内，发送队列中第一次数据包发送失败的时间。Unix时间戳，队列为空时该值为0。 | 1525342764 |
Logtail状态日志
| 字段 | 说明 | 示例 |
|---|---|---|
| cpu | 进程CPU的负载。 | 0.001333156 |
| hostname | 主机名。 | abc2.**** |
| instance_id | 实例ID，随机值。 | 05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745**** |
| ip | 主机的IP地址。 | 47.100.**.** |
| load | 系统的平均负载。 | 0.01 0.04 0.05 2/376 5277 |
| memory | Logtail进程占用的内存大小，单位：MB。 | 12 |
| detail_metric | 各项计量值，JSON格式。更多信息，请参见detail_metric。 | detail_metric |
| os | 操作系统。 | Linux |
| os_cpu | 系统整体的CPU使用率。 | 0.004120005 |
| os_detail | 操作系统详细信息。 | 2.6.32-220.23.8.tcp1.34.el6.x86_64 |
| status | 客户端状态。
|
busy |
| user | 用户名。 | root |
| user_defined_id | 用户定义的ID。 | aliyun-log-id |
| uuid | 机器的UUID。 | 64F28D10-D100-492C-8FDC-0C62907F**** |
| version | Logtail版本号。 | 0.14.2 |
| project | Logtail采集配置所属的Project。 | my-project |
其中，detail_metric字段包含如下子字段。
| 字段 | 说明 | 示例 |
|---|---|---|
| config_count | Logtail采集配置的数量。 | 1 |
| config_get_last_time | 上一次获取Logtail采集配置的时间。 | 2021-07-20 16:19:22 |
| config_update_count | Logtail启动后，Logtail采集配置更新的次数。 | 1 |
| config_update_item_count | Logtail启动后，Logtail采集配置项更新的总和。 | 1 |
| config_update_last_time | Logtail启动后，Logtail采集配置最后一次更新的时间。 | 2021-07-20 16:18:42 |
| env_config | 是否使用环境变量创建Logtail采集配置。 | false |
| event_tps | 事件TPS。 | 1 |
| last_read_event_time | 上一次获取事件的时间。 | 2021-07-20 16:18:42 |
| last_send_time | 上一次发送数据的时间。 | 2021-07-20 16:18:42 |
| multi_config | 是否开启多个Logtail采集配置采集相同的文件。 | false |
| net_err_stat | 最近1分钟、5分钟和15分钟内网络发生错误的次数。 | 0,0,0 |
| open_fd | 目前打开的文件数量。 | 1 |
| plugin_enabled | 是否使用了插件功能。
|
false |
| poll_modify_size | 监听修改事件的文件数量。 | 1 |
| polling_dir_cache | 扫描的文件夹数量。 | 1 |
| polling_file_cache | 扫描的文件数量。 | 1 |
| process_bytes_ps | 每秒处理的日志量，单位：字节。 | 1000 |
| process_lines_ps | 每秒处理的日志条数。 | 1000 |
| process_queue_full | 达到最大长度限制的处理队列个数。 | 1 |
| process_queue_total | 处理队列数量。 | 10 |
| process_tps | 处理TPS。 | 0 |
| reader_count | 正在处理的文件数。 | 1 |
| region | Logtail所在的地域。 | cn-hangzhou |
| register_handler | 要监控的文件夹数量。 | 1 |
| send_bytes_ps | 每秒发送的原始日志量（字节）。 | 11111 |
| send_lines_ps | 每秒发送的日志条数。 | 1000 |
| send_net_bytes_ps | 每秒发送的网络数据量（字节）。 | 1000 |
| send_queue_full | 达到最大长度限制的发送队列个数。 | 1 |
| send_queue_total | 发送队列数量。 | 12 |
| send_request_concurrency | 发送并发上限数。 | 10 |
| send_tps | 发送TPS。 | 0.075 |
| sender_invalid | 异常的发送队列数。 | 0 |
| start_time | 启动时间。 | 2021-07-20 16:19:22 |
| used_sending_concurrency | 当前已使用的发送并发数。 | 0 |
Scheduled SQL作业运行日志
| 字段 | 说明 | 示例 |
|---|---|---|
| __topic__ | 日志主题，固定为scheduled_sql_alert。 | scheduled_sql_alert。 |
| project | Scheduled SQL作业所在的Project。 | my-project-name |
| job_name | Scheduled SQL作业名称。 | sql-16xxxxxxx-xxxxxx |
| schedule_id | 作业ID。 | 77****ca |
| job_type | Scheduled SQL作业类型，固定为ScheduledSQL。 | ScheduledSQL |
| instance_id | Scheduled SQL作业中实例的标识。 | 7e****dc |
| create_time | 实例的创建时间，单位：秒。 | 1652343365 |
| schedule_time | 实例的调度时间，单位：秒。 | 1652343360 |
| trigger_time | 实例的触发时间，单位：秒。 | 1652343365 |
| status | 实例的执行结果，取值为FAILED、SUCCEEDED。 | FAILED |
| error_code | 实例执行失败时的错误原因。 | SQLFailed |
| error_message | 实例执行失败时的错误详情。 | sql syntax error |
| fallbehind | 实例的触发时间和调度时间的间隔，用于表示实例执行的延迟情况。单位：秒。 | 85 |
| succeed_lines |
|
100 |
数据导入、投递等作业的运行日志
| 字段 | 说明 | 示例 |
|---|---|---|
| __topic__ | 日志主题，固定为etl_metrics。 | etl_metrics |
| metric_type | 作业运行日志的类型标识，固定为ConnectorMetrics。 | ConnectorMetrics |
| project | 作业所属的Project。 | my-sls-project |
| job_name | 作业名称。 | job-16****53 |
| instance_id | 作业运行的实例ID。 | 10e****b4f6 |
| _etl_:connector_meta | 数据源或者目标的任务元信息。更多信息，请参见_etl_:connector_meta。 | 无 |
| _etl_:connector_metrics | 数据源或者目标的任务运行指标。更多信息，请参见_etl_:connector_metrics。 | 无 |
_etl_:connector_meta字段包含如下子字段。
| 字段 | 说明 | 示例 |
|---|---|---|
| action | 任务的操作。
|
ingest |
| connector | 数据源类型或者目标类型。
|
oss |
| instance | 数据源实例名称或目标实例名称。 | my-oss-bucket |
| task_id | 任务ID。 | 1669277 |
| task_name | 任务名称。 | 1652765276578_task_0 |
| task_type | 任务类型，固定为CONNECTOR。 | CONNECTOR |
_etl_:connector_metrics字段包含如下子字段。
| 字段 | 说明 | 示例 |
|---|---|---|
| state | 任务运行状态。
|
0 |
| error | 任务运行的错误信息。
无错误信息时，日志中不存在该字段。 |
fail to pull logs, unauthorized |
| lags | 任务运行进度。
只针对数据读取任务，即action字段值为ingest时，日志中存在lags字段。该字段值与数据源类型（connector字段）相关。
|
0.813 |
| desc | 只针对数据读取任务，即action字段值为ingest时，日志中存在desc字段。该字段值与数据源类型（connector字段）相关。
|
s |
| events | 时间范围内处理的数据条目数。 | 13245 |
| failed | 时间范围内处理失败的数据条目数。 | 3 |
| native_bytes | 时间范围内处理的数据的原始大小。 | 7539125 |
| events_bytes | 时间范围内处理的数据被解析后的大小。 | 13295475 |
| pub_net_bytes | 时间范围内处理的数据的公网流量。 | 45678 |
| req_count | 时间范围内数据源或者目标的请求次数。 | 89 |
| req_count | 时间范围内数据源或者目标的平均请求延迟。 | 38 |
| rate_limit_hits | 时间范围内数据源或者目标请求被限流次数。 | 1 |
| extras | 其他相关信息。当字段值存在时，日志中才会展示该字段。
该字段值与数据源类型（connector字段）相关。 |
{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"} |