文档

通用数据结构

更新时间:

ConsumerGroup

消费组数据结构。

参数名称

类型

示例值

描述

name

String

test-consumer-group

消费组名称。

timeout

Integer

300

超时时间。在超时时间段内没有收到心跳,消费者将被删除。单位:秒。

order

Boolean

false

是否按顺序消费。

  • true:在Shard中按顺序消费。Shard分裂后,先消费原Shard中数据,然后同时消费由该Shard分裂的Shard中数据。Shard合并后,先消费原Shard中数据,然后消费由原Shard合并后的新Shard中数据。
  • false:不按顺序消费。即所有同时开始消费,Shard分裂或者合并后产生的新Shard,也会立即消费。

EncryptConf

加密配置数据结构。

参数名称

类型

示例值

描述

enable

Boolean

true

是否启用数据加密。

  • true:是
  • false:否

encrypt_type

String

default

加密算法,只支持default和sm4。当enable为true时,此项必选。

user_cmk_info

EncryptUserCmkConf

{ "cmk_key_id" : "f5136b95-2420-ab31-xxxxxxxxx" "arn" : "acs:ram::13234:role/logsource" "region_id" : "cn-hangzhou" }

可选字段。如果设置该字段,则表示使用自带密钥(BYOK),否则使用日志服务的服务密钥。

EncryptUserCmkConf

用户加密配置数据结构。

参数名称

类型

示例值

描述

cmk_key_id

String

f5136b95-2420-ab31-xxxxxxxxx

BYOK的主密钥ID。

arn

String

acs:ram::13234:role/logsource

RAM角色的ARN。

region_id

String

cn-hangzhou

主密钥所在的地域ID。

Histogram

日志分布情况数据结构。

参数名称

类型

示例值

描述

from

Integer

1409529600

子时间区间的开始时间点。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

to

Integer

1409569200

子时间区间的结束时间点。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

count

Long

2

该子时间区间内查询到的日志条数。

progress

String

Complete

当前查询结果在该子时间区间内的结果是否完整。

  • Complete:查询已经完成,返回结果为完整结果。
  • Incomplete:查询已经完成,返回结果为不完整结果,需要重复请求以获得完整结果。

LogContent

日志字段

参数名称

类型

示例值

描述

Key

String

key-test

自定义Key名称。

Value

String

value-test

自定义Key对应的值。

LogtailConfig

Logtail配置数据结构。

参数名称

类型

示例值

描述

configName

String

test-config

Logtail配置的名称,在其所属Project内必须唯一。创建Logtail配置成功后,无法修改其名称。命名规则如下:

  • 只能包括小写字母、数字、短划线(-)和下划线(_)。
  • 必须以小写字母或者数字开头和结尾。
  • 长度必须在2~128字符之间。

logSample

String

2022-06-14 11:13:29.796 | DEBUG | __main__:<module>:1 - hello world

日志样例。

inputType

String

file

日志输入的方式。可选值如下:

  • plugin:通过Logtail插件采集MySQL Binlog等日志。
  • file:通过固定模式(正则模式、分隔符模式等)采集文本文件中的日志。

inputDetail

Map

"logType": "common_reg_log", "logPath": "/var/log/httpd/", "filePattern": "access*.log", "localStorage": true, "timeFormat": "%Y/%m/%d %H:%M:%S", "logBeginRegex": ".*", "regex": "(\w+)(\s+)", "key" :["key1", "key2"], "filterKey":["key1"], "filterRegex":["regex1"], "fileEncoding":"utf8", "topicFormat": "none"

日志输入的相关配置。更多信息,请参见inputDetail参数说明

outputType

String

LogService

日志输出的方式,只支持LogService,即只支持将数据上传到日志服务。

outputDetail

Object

日志输出的相关配置。更多信息,请参见outputDetail参数说明

endpoint

String

cn-hangzhou-intranet.log.aliyuncs.com

服务入口。更多信息,请参见服务入口

logstoreName

String

test-logstore

Logstore名称。

region

String

cn-hangzhou

地域ID。

createTime

Long

1655176807

Logtail配置创建时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

lastModifyTime

Long

1655176807

Logtail配置最后一次更新时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

LogtailPipelineConfig

Logtail流水线配置

参数名称

类型

示例值

描述

configName

String

test-config

配置名称

logSample

String

127.0.0.1 - - [10/Jun/2022:12:36:49 +0800] "GET /index.html HTTP/1.1" 200

日志样例

global

Map

全局信息

inputs

Array of Object

{ "Type": "input_file", "FilePaths": ["/var/log/*.log"] }

输入插件

processors

Array of Object

{ "Type": "processor_parse_json_native", "SourceKey": "content" }

处理插件

aggregators

Array of Object

聚合插件

flushers

Array of Object

{ "Type": "flusher_sls", "Project": "test_project", "Logstore": "test", "Region": "cn-hangzhou", "Endpoint": "cn-hangzhou-intranet.log.aliyuncs.com", "TelemetryType": "log" }

输出插件

createTime

Long

1655176807

创建时间,UNIX时间戳

lastModifyTime

Long

1655176807

最后修改时间,UNIX时间戳

MLDataParam

MLDataParam

参数名称

类型

示例值

描述

annotationdataId

String

dc74b0f569126bb310e1ba6454c351ac

数据的唯一标识

dataHash

String

59db060bd89468245d76416a68a510ac

数据内容的hash值

datasetId

String

cb8cc4eb51a85e823471cdb368fae9be

关联的数据集的id

value

String

xxx/xxx/xxx/

数据来源

valueType

String

oss

数据来源格式

config

Map

数据的配置信息

annotations

Map

标注信息

predictions

Map

模型预览结果信息

createTime

Long

1695094335

创建的时间

lastModifyTime

Long

1695094335

最后一次修改的时间

MLDataSetParam

MLDataSetParam

参数名称

类型

示例值

描述

datasetId

String

d9bd488f6dd42d294495fb780858e83d

数据集的唯一标识

name

String

sls_builtin_dataset_metric.shapeclassification.anomalydetection

数据集的名称

description

String

数据集A

数据集的描述

dataType

String

Metric

数据类型

labelId

String

a191ae4ca615b0ccb93c211fc8a998af

数据集对应的标签系统id

createTime

Long

1695090077

创建时间

lastModifyTime

Long

1695090077

最终修改时间

createBy

String

sls-console

创建的对象

settingType

String

Metric.ShapeClassification.AnomalyDetection

label表配置类型

MLLabelParam

A short description of struct

参数名称

类型

示例值

描述

labelId

String

abbd488f6dd42d294495fb780858e83d

标签表的唯一标识

name

String

标签表

标签表的名称

description

String

默认表

标签表的描述信息

type

String

xxx

标签表的类型

settings

Array

标签表的配置

mode

String

builtin

配置的模式

type

String

Trace.RCA

配置的任务类型

config

String

""

配置的具体信息

version

String

0.01

配置的版本号

createTime

Long

1695090077

创建时间

lastModifyTime

Long

1695090077

最后修改时间

MLServiceAnalysisParam

MLServiceAnalysisParam

参数名称

类型

示例值

描述

parameter

Map

parameter

input

Array of Object

input

SavedSearch

快速查询数据结构。

参数名称

类型

示例值

描述

savedsearchName

String

savedsearch-name

快速查询名称。

searchQuery

String

status: 401 | SELECT remote_addr,COUNT(*) as pv GROUP by remote_addr ORDER by pv desc limit 5

查询语句或者分析语句。

logstore

String

aliyun-test-logstore

Logstore名称。

topic

String

topic

日志主题。默认值为空字符串("")。

displayName

String

Method统计

快速查询显示名称。

chart

图表数据结构。

参数名称

类型

示例值

描述

title

String

my-chart

图表标题。

type

String

linepro

图表类型。

search

Map

(*)| SELECT date_format(__time__ - __time__ % 60, '%H:%i:%s') as time, count(1) as count GROUP BY time ORDER BY time

查询配置。

display

Map

图表的显示配置。

action

Map

action

dashboard

仪表盘数据结构。

参数名称

类型

示例值

描述

dashboardName

String

dashboard-1609294922657-434834

仪表盘的内部显示名称。

displayName

String

test-alert

仪表盘的展示名称。

description

String

这是一个仪表盘。

仪表盘的描述信息。

attribute

Map

仪表盘的属性值。

charts

Array of chart

仪表盘包含的图表。

etlJob

数据加工任务数据结构。

参数名称

类型

示例值

描述

etlJobName

String

etl-name

数据加工任务名称。

sourceConfig

Object

配置数据来源。

logstoreName

String

my-logstore

Logstore名称。

triggerConfig

Object

加工任务触发器配置。

roleArn

String

acs:ram::13791******44:role/aliyunlogetlrole

角色授权配置,例如角色ARN为acs:ram::13791******44:role/aliyunlogetlrole

triggerInterval

Integer

5

触发间隔。

maxRetryTime

Integer

10

最大重试次数。

startingPosition

String

at-unixtime

开始位置。

startingUnixtime

Long

1655176807

开始时间。当startingPosition为at-unixtime时生效。

functionConfig

Object

运行函数配置。

functionProvider

String

FunctionCompute

函数provider。

endpoint

String

cn-hangzhou.log.aliyuncs.com

服务入口Endpoint。

accountId

String

13791******44

阿里云账号ID。

regionName

String

cn-hangzhou

地域。

serviceName

String

my-service

服务名。

functionName

String

hello-world

函数名。

roleArn

String

acs:ram::13791******44:role/aliyunlogetlrole

角色授权配置,例如角色ARN为acs:ram::13791******44:role/aliyunlogetlrole

functionParameter

Map

参数列表。

enable

Boolean

true

是否启用。

logConfig

Object

日志配置。

endpoint

String

cn-hangzhou.log.aliyuncs.com

服务入口Endpoint。

projectName

String

ali-test-project

Project名称。

logstoreName

String

ali-test-logstore

Logstore名称。

etlMeta

etlMeta数据结构。

参数名称

类型

示例值

描述

etlMetaName

String

MetaName

MetaName

etlMetaKey

String

MetaKey

MetaKey

etlMetaTag

String

MetaTag

MetaTag

enable

Boolean

true

Enable

etlMetaValue

String

MetaValue

MetaValue

externalStore

外部存储数据结构。

参数名称

类型

示例值

描述

externalStoreName

String

rds_store

外部存储名称,在同一Project中名称不能重复,且和Logstore名称不能重复。

storeType

String

rds-vpc

存储类型。固定取值为rds-vpc,表示VPC下的RDS MySQL数据库。

parameter

Map

{ "vpc-id": "vpc-bp1aevy8sofi8mh1q****", "instance-id": "i-bp1b6c719dfa08exf****", "host": "192.168.XX.XX", "port": "3306", "username": "root", "password": "sfdsfldsfksfls****", "db": "meta", "table": "join_meta", "region": "cn-qingdao" }

外部存储的配置参数。

index

索引配置数据结构。

参数名称

类型

示例值

描述

ttl

Integer

30

日志保存时间,单位为天。

max_text_len

Integer

2048

日志服务默认字段值的最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度,取值范围为64~16384字节。

log_reduce_white_list

Array of String

name

白名单字段。

log_reduce_black_list

Array of String

time

黑名单字段。

line

Object

全文索引配置。该参数和keys必须至少指定一个,更多示例,请参见示例。

chn

Boolean

false

是否包含中文。

  • true:包含中文。
  • false(默认值):不包含中文。

caseSensitive

Boolean

true

是否大小写敏感。

  • true:大小写敏感。
  • false(默认值):大小写不敏感。

token

Array of String

,

分词符。例如 "," "." "\r" "\n" 等。

include_keys

Array of String

includeField

包含字段列表。

exclude_keys

Array of String

excludeField

排除字段列表。

keys

Map

字段索引配置,key为字段名称,value为字段索引配置。该参数和line必须至少指定一个,更多示例,请参见示例。

log_reduce

Boolean

true

是否开启日志聚类。开启后白名单与黑名单至多生效其中一个。

  • true:开启日志聚类。
  • false(默认值):不开启日志聚类。

lastModifyTime

Long

1622186280

上次修改时间,unix 时间戳,记录从 1970年1月1日0时0分0秒以来的所经过的秒数。

logging

项目的服务日志数据结构。

参数名称

类型

示例值

描述

loggingProject

String

my-project

服务日志要保存到的Project名称。

loggingDetails

Array

服务日志配置列表。

type

String

consumergroup_log

服务日志的种类。取值包括:

  • consumergroup_log:消费组延迟日志
  • logtail_alarm:Logtail告警日志
  • operation_log:操作日志(此项服务收费)
  • logtail_profile:Logtail采集日志
  • metering:计量日志
  • logtail_status:Logtail状态日志
  • scheduledsqlalert:定时SQL任务运行日志
  • etl_alert:数据加工任务的运行日志

logstore

String

my-logstore

Logstore名称。

logstore

日志库Logstore数据结构。

参数名称

类型

示例值

描述

logstoreName

String

my-logstore

Logstore名称。

ttl

Integer

1

数据的保存时间,单位为天。取值范围为1~3650。如果配置为3650,表示永久保存。

shardCount

Integer

2

Shard分区个数。

enable_tracking

Boolean

false

是否开启WebTracking功能。默认值为false。

  • true:开启WebTracking。
  • false:不开启WebTracking。

autoSplit

Boolean

true

是否自动分裂Shard。

  • true:自动分裂Shard。
  • false:不自动分裂Shard。

maxSplitShard

Integer

6

自动分裂时最大的Shard个数,最小值是1,最大值是64。

appendMeta

Boolean

false

是否记录外网IP地址功能。默认值为false。

  • true:记录外网IP地址。
  • false:不记录外网IP地址。

telemetryType

String

Metrics

要查询的日志类型。取值:

  • Metrics:时序存储。
  • None:非时序存储。

createTime

Integer

1453949705

日志库创建时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

lastModifyTime

Integer

1524155379

日志库最后一次更新时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

encrypt_conf

EncryptConf

数据加密配置。

hot_ttl

Integer

60

数据在Logstore热存储层中的存储时间,最少为30天。单位:天。

infrequentAccessTTL

Integer

30

低频存储时间

mode

String

standard

日志服务提供标准型(Standard)和查询型(Query)两种类型的Logstore。

  • standard:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。
  • query:支持高性能查询,索引流量费用约为Standard的一半,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

productType

String

aliyun

日志所属产品类型。

machine

机器数据结构。

参数名称

类型

示例值

描述

ip

String

192.168.xx.x

机器的IP地址。

machine-uniqueid

String

3B70F4F1-80F7-46C4-A6C1-100***CEE647

机器的唯一标识。

lastHeartbeatTime

Long

1447182247

最后一次心跳时间。Unix时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

userdefined-id

String

机器的用户自定义标识,当机器组标识类型为用户自定义类型时有效。

machineGroup

机器组数据结构。

参数名称

类型

示例值

描述

groupName

String

machineGroup-1

机器组名称。

groupType

String

“”

机器组类型,目前固定为空字符串。

machineIdentifyType

String

ip

机器标识类型。

  • ip:IP地址机器组。
  • userdefined:用户自定义标识机器组。

groupAttribute

Object

机器组属性。

groupTopic

String

testtopic

机器组的日志主题。

externalName

String

testgroup

机器组所依赖的外部管理系统标识。

machineList

Array of String

47.100.XX.XX

机器的IP地址或自定义标识。

project

日志项目Project数据结构。

参数名称

类型

示例值

描述

createTime

String

2021-07-07 14:08:09

创建Project的时间。

lastModifyTime

String

2022-04-18 13:30:19

最后一次更新Project时间。

description

String

Description of my-project

Project描述信息。

owner

String

""

Project所属得阿里云账号。

projectName

String

ali-test-project

Project名称,作为Host的一部分。Project名称在阿里云地域内全局唯一,创建后不可修改。

region

String

cn-hangzhou

Project所属地域。

status

String

Normal

Project状态。

  • Normal:正常
  • Disable:禁用

resourceGroupId

String

rg-acf******sq

Project所属的资源组ID。

shard

Shard数据结构。

参数名称

类型

示例值

描述

shardID

Integer

0

shard id

status

String

readwrite

Shard状态。创建Shard时,所有Shard状态均为readwrite状态。执行分裂或合并操作后,Shard状态变更为readonly,并生成新的readwrite状态的Shard。Shard状态不影响其数据读取的性能。readwrite状态的Shard可保证数据写入性能,readonly状态的Shard不提供数据写入服务。取值包括:

  • readwrite(读写)
  • readonly(只读)

inclusiveBeginKey

String

00000000000000000000000000000000

Shard起始的Key值,在Shard MD5范围中包含该值。

exclusiveEndKey

String

8000000000000000000000000000000

分区结束的Key值。

createTime

Integer

1524222931

分区的创建时间。UNIX时间戳格式,表示从1970-1-1 00:00:00 UTC计算起的秒数。

  • 本页导读 (1)
文档反馈