通用数据结构

ConsumerGroup

消费组数据结构。

参数名称

类型

示例值

描述

name

String

test-consumer-group

消费组名称。

timeout

Integer

300

超时时间。在超时时间段内没有收到心跳,消费者将被删除。单位:秒。

order

Boolean

false

是否按顺序消费。

  • true:在Shard中按顺序消费。Shard分裂后,先消费原Shard中数据,然后同时消费由该Shard分裂的Shard中数据。Shard合并后,先消费原Shard中数据,然后消费由原Shard合并后的新Shard中数据。
  • false:不按顺序消费。即所有同时开始消费,Shard分裂或者合并后产生的新Shard,也会立即消费。

EncryptConf

加密配置数据结构。

参数名称

类型

示例值

描述

enable

Boolean

true

是否启用数据加密。

  • true:是
  • false:否

encrypt_type

String

default

加密算法,只支持default和m4。当 enable 为 true 时,此项必选。

user_cmk_info

EncryptUserCmkConf

{ "cmk_key_id" : "f5136b95-2420-ab31-xxxxxxxxx" "arn" : "acs:ram::13234:role/logsource" "region_id" : "cn-hangzhou" }

可选字段。如果设置该字段,则表示使用自带密钥(BYOK),否则使用日志服务的服务密钥。

EncryptUserCmkConf

用户加密配置数据结构。

参数名称

类型

示例值

描述

cmk_key_id

String

f5136b95-2420-ab31-xxxxxxxxx

BYOK的主密钥ID。

arn

String

acs:ram::13234:role/logsource

RAM角色的ARN。

region_id

String

cn-hangzhou

主密钥所在的地域ID。

Histogram

日志分布情况数据结构。

参数名称

类型

示例值

描述

from

Integer

1409529600

子时间区间的开始时间点。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

to

Integer

1409569200

子时间区间的结束时间点。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

count

Long

2

该子时间区间内查询到的日志条数。

progress

String

Complete

当前查询结果在该子时间区间内的结果是否完整。

  • Complete:查询已经完成,返回结果为完整结果。
  • Incomplete:查询已经完成,返回结果为不完整结果,需要重复请求以获得完整结果。

LogtailConfig

Logtail配置数据结构。

参数名称

类型

示例值

描述

configName

String

test-config

Logtail配置名称。必须满足以下条件:

  • 同一日志项目下唯一。
  • 由大小写字母、数字、下划线、连字符组成。
  • 长度在[2,64]之间。
  • 必须以大小写字母或数字开头与结尾。

logSample

String

2022-06-14 11:13:29.796 | DEBUG | __main__:<module>:1 - hello world

Logtail需要采集的日志样例。

inputType

String

file

Logtail采集日志输入的类型。

inputDetail

Map

Logtail采集输入的详细配置。

outputType

String

LogService

Logtail采集日志输出的类型,固定填写为LogService。

outputDetail

Object

Logtail采集输出的详细配置。

endpoint

String

cn-hangzhou-intranet.log.aliyuncs.com

当前日志项目的Endpoint。

logstoreName

String

test-logstore

日志采集输出的目标Logstore名称。

region

String

cn-hangzhou

地域。

createTime

Long

1655176807

创建时间,Unix时间戳。

lastModifyTime

Long

1655176807

最后修改时间,Unix时间戳。

SavedSearch

快速查询数据结构。

参数名称

类型

示例值

描述

savedsearchName

String

savedsearch-name

快速查询名称。

searchQuery

String

status: 401 | SELECT remote_addr,COUNT(*) as pv GROUP by remote_addr ORDER by pv desc limit 5

查询语句或者分析语句。

logstore

String

aliyun-test-logstore

Logstore名称。

topic

String

topic

日志主题。默认值为双引号("")。

displayName

String

Method统计

快速查询显示名称。

chart

图表数据结构。

参数名称

类型

示例值

描述

title

String

my-chart

图表标题。

type

String

linepro

图表类型。

search

Map

(*)| SELECT date_format(__time__ - __time__ % 60, '%H:%i:%s') as time, count(1) as count GROUP BY time ORDER BY time

查询配置。

display

Map

图表的显示配置。

action

Map

action

dashboard

仪表盘数据结构。

参数名称

类型

示例值

描述

dashboardName

String

dashboard-1609294922657-434834

仪表盘的内部显示名称。

displayName

String

test-alert

仪表盘的展示名称。

description

String

这是一个仪表盘。

仪表盘的描述信息。

attribute

Map

仪表盘的属性值。

charts

Array of chart

仪表盘包含的图表。

etlJob

数据加工作业数据结构。

参数名称

类型

示例值

描述

etlJobName

String

etl-name

数据加工作业名称。

sourceConfig

Object

配置数据来源。

logstoreName

String

my-logstore

Logstore名称。

triggerConfig

Object

加工作业触发器配置。

roleArn

String

acs:ram::13791******44:role/aliyunlogetlrole

角色授权配置,例如角色ARN为acs:ram::13791******44:role/aliyunlogetlrole

triggerInterval

Integer

5

触发间隔。

maxRetryTime

Integer

10

最大重试次数。

startingPosition

String

at-unixtime

开始位置。

startingUnixtime

Long

当 strtingPosition 为 at-unixtime 时生效

开始时间。

functionConfig

Object

运行函数配置。

functionProvider

String

FunctionCompute

函数provider。

endpoint

String

cn-hangzhou.log.aliyuncs.com

服务入口Endpoint。

accountId

String

13791******44

阿里云账号ID。

regionName

String

cn-hangzhou

地域。

serviceName

String

my-service

服务名。

functionName

String

hello-wrold

函数名。

roleArn

String

acs:ram::13791******44:role/aliyunlogetlrole

角色授权配置,例如角色ARN为acs:ram::13791******44:role/aliyunlogetlrole

functionParameter

Map

参数列表。

enable

Boolean

true

是否启用。

logConfig

Object

日志配置。

endpoint

String

cn-hangzhou.log.aliyuncs.com

服务入口Endpoint。

projectName

String

ali-test-project

Project名称。

logstoreName

String

ali-test-logstore

Logstore名称。

etlMeta

etlMeta数据结构。

参数名称

类型

示例值

描述

etlMetaName

String

MetaName

MetaName

etlMetaKey

String

MetaKey

MetaKey

etlMetaTag

String

MetaTag

MetaTag

enable

Boolean

true

Enable

etlMetaValue

String

MetaValue

MetaValue

externalStore

外部存储数据结构。

参数名称

类型

示例值

描述

externalStoreName

String

rds_store

外部存储名称,在同一Project中名称不能重复,且和Logstore名称不能重复。

storeType

String

rds-vpc

存储类型。固定取值为rds-vpc,表示VPC下的RDS MySQL数据库。

parameter

Map

{ "vpc-id": "vpc-bp1aevy8sofi8mh1q****", "instance-id": "i-bp1b6c719dfa08exf****", "host": "192.168.XX.XX", "port": "3306", "username": "root", "password": "sfdsfldsfksfls****", "db": "meta", "table": "join_meta", "region": "cn-qingdao" }

外部存储的配置参数。

index

索引配置结构体。

参数名称

类型

示例值

描述

ttl

Integer

30

日志保存时间,单位为天。

max_text_len

Integer

2048

日志服务默认字段值的最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度,取值范围为64~16384字节。

log_reduce_white_list

Array of String

name

白名单字段。

log_reduce_black_list

Array of String

time

黑名单字段。

line

Object

全文索引配置。该参数和keys必须至少指定一个,更多示例,请参见示例。

chn

Boolean

false

是否包含中文。

  • true:包含中文。
  • false(默认值):不包含中文。

caseSensitive

Boolean

true

是否大小写敏感。

  • true:大小写敏感。
  • false(默认值):大小写不敏感。

token

Array of String

,

分词符。例如 "," "." "\r" "\n" 等。

include_keys

Array of String

includeField

包含字段列表。

exclude_keys

Array of String

excludeField

排除字段列表。

keys

Map

字段索引配置,key为字段名称,value为字段索引配置。该参数和line必须至少指定一个,更多示例,请参见示例。

log_reduce

Boolean

true

是否开启日志聚类。开启后白名单与黑名单至多生效其中一个。

  • true:大小写敏感。
  • false(默认值):大小写不敏感。

lastModifyTime

Long

1622186280

上次修改时间,unix 时间戳,记录从 1970年1月1日0时0分0秒以来的所经过的秒数。

logging

项目的服务日志配置。

参数名称

类型

示例值

描述

loggingProject

String

my-project

服务日志要保存到的Project名称。

loggingDetails

Array

服务日志配置列表。

type

String

consumergroup_log

服务日志的种类。取值包括:

  • consumergroup_log:消费组延迟日志
  • logtail_alarm:消费组延迟日志
  • operation_log:操作日志(此项服务收费)
  • logtail_profile:Logtail采集日志
  • metering:计量日志
  • logtail_status:Logtail状态日志
  • scheduledsqlalert:Scheduled SQL作业运行日志
  • etl_alert:数据加工作业的运行日志

logstore

String

my-logstore

Logstore名称。

logstore

日志库Logstore数据结构。

参数名称

类型

示例值

描述

logstoreName

String

my-logstore

Logstore名称。

ttl

Integer

1

数据的保存时间,单位为天。取值范围为1~3650。如果配置为3650,表示永久保存。

shardCount

Integer

2

Shard分区个数。

enable_tracking

Boolean

false

是否开启WebTracking功能。默认值为false。

  • true:开启WebTracking。
  • false:不开启WebTracking。

autoSplit

Boolean

true

是否自动分裂Shard。

  • true:自动分裂Shard。
  • false:不自动分裂Shard。

maxSplitShard

Integer

6

自动分裂时最大的Shard个数,最小值是1,最大值是64。

appendMeta

Boolean

false

是否记录外网IP地址功能。默认值为false。

  • true:记录外网IP地址。
  • false:不记录外网IP地址。

telemetryType

String

Metrics

要查询的日志类型。取值:

  • Metrics:时序存储。
  • None:非时序存储。

createTime

Integer

1453949705

日志库创建时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

lastModifyTime

Integer

1524155379

日志库最后一次更新时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

encrypt_conf

EncryptConf

数据加密配置。

hot_ttl

Integer

必须在 (30, ttl) 之间

machine

机器组信息。

参数名称

类型

示例值

描述

ip

String

192.168.xx.x

机器的IP地址。

machine-uniqueid

String

3B70F4F1-80F7-46C4-A6C1-100***CEE647

机器的唯一标识。

lastHeartbeatTime

Long

1447182247

最后一次心跳时间。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

userdefined-id

String

机器的用户自定义标识,当机器组标识类型为用户自定义类型时有效。

machineGroup

机器组结构体。

参数名称

类型

示例值

描述

groupName

String

machineGroup-1

机器组名称。

groupType

String

“”

机器组类型,目前固定为空字符串。

machineIdentifyType

String

ip

机器标识类型。

  • ip:IP地址机器组。
  • userdefined:用户自定义标识机器组。

groupAttribute

Object

机器组属性。

groupTopic

String

testtopic

机器组的日志主题。

externalName

String

testgroup

机器组所依赖的外部管理系统标识。

machineList

Array of String

47.100.XX.XX

机器的IP地址或自定义标识。

project

日志项目Project数据结构。

参数名称

类型

示例值

描述

createTime

String

2021-07-07 14:08:09

创建Project的时间。

lastModifyTime

String

2022-04-18 13:30:19

最后一次更新Project时间。

description

String

Description of my-project-test

Project描述信息。

owner

String

174****745

创建人的阿里云账号。

projectName

String

ali-test-project

Project名称,作为Host的一部分。Project名称在阿里云地域内全局唯一,创建后不可修改。

region

String

cn-hangzhou

Project所属地域。

status

String

Normal

Project状态。

  • Normal:正常
  • Disable:禁用

shard

Shard数据结构。

参数名称

类型

示例值

描述

shardID

Integer

0

shard id

status

String

readwrite

Shard状态。创建Shard时,所有Shard状态均为readwrite状态。执行分裂或合并操作后,Shard状态变更为readonly,并生成新的readwrite状态的Shard。Shard状态不影响其数据读取的性能。readwrite状态的Shard可保证数据写入性能,readonly状态的Shard不提供数据写入服务。取值包括:

  • readwrite(读写)
  • readonly(只读)

inclusiveBeginKey

String

00000000000000000000000000000000

Shard起始的Key值,在Shard MD5范围中包含该值。

exclusiveEndKey

String

8000000000000000000000000000000

分区结束的Key值。

createTime

Integer

1524222931

分区的创建时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

阿里云首页 日志服务 相关技术圈