更新Logtail流水线配置。
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
下表是API对应的授权信息,可以在RAM权限策略语句的Action
元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:
- 操作:是指具体的权限点。
- 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
- 资源类型:是指操作中支持授权的资源类型。具体说明如下:
- 对于必选的资源类型,用背景高亮的方式表示。
- 对于不支持资源级授权的操作,用
全部资源
表示。
- 条件关键字:是指云产品自身定义的条件关键字。
- 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作 | 访问级别 | 资源类型 | 条件关键字 | 关联操作 |
---|---|---|---|---|
log:UpdateLogtailPipelineConfig | update |
|
| 无 |
请求语法
PUT /pipelineconfigs/{configName} HTTP/1.1
请求参数
名称 | 类型 | 必填 | 描述 | 示例值 |
---|---|---|---|---|
project | string | 是 | Project 名称。 | test-project |
configName | string | 是 | Logtail 流水线配置名称。 | test-config |
body | object | 否 | Logtail 流水线配置内容。 | |
configName | string | 是 | 配置名称。 注意 需要与外层的 configName 参数保持一致。 | test-config |
logSample | string | 否 | 日志样例。支持多条日志。 | 2022-06-14 11:13:29.796 | DEBUG | __main__:<module>:1 - hello world |
global | object | 否 | 全局配置。 | |
inputs | array<object> | 是 | 输入插件列表。 注意 目前,只允许配置 1 个输入插件。 | |
object | 否 | { "Type": "input_file", "FilePaths": ["/var/log/*.log"] } | ||
processors | array<object> | 否 | 输入插件列表。 说明
可分为原生处理插件和扩展处理插件,详情请参见处理插件。
注意
| |
object | 否 | 处理插件。 说明
详情请参见处理插件。
| { "Type": "processor_parse_json_native", "SourceKey": "content" } | |
aggregators | array<object> | 否 | 聚合插件列表。 注意 仅当使用了扩展处理插件时有效,且最多允许使用 1 个聚合插件。 | |
object | 否 | 聚合插件。 | ||
flushers | array<object> | 是 | 输出插件列表。 注意 目前,只允许存在 1 个 SLS 输出插件。 | |
object | 否 | 输出插件。 | { "Type": "flusher_sls", "Logstore": "test" } |
全局配置
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
TopicType | string | 否 | 空 | filepath | Topic 类型。可选值包括:
|
TopicFormat | string | 否,当 TopicType 取值为 filepath 或 custom 时必填 | / | /var/log/(.*).log | Topic 格式。 |
EnableTimestampNanosecond | bool | 否 | false | false | 是否启用时间纳秒精度。 |
输入插件
文本输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | input_file | 插件类型。固定为 input_file。 |
FilePaths | [string] | 是 | / | ["/var/log/*.log"] | 待采集的日志文件路径列表(目前仅限 1 个路径)。路径中支持使用*和**通配符,其中**通配符仅能出现一次且仅限用于文件名前。 |
MaxDirSearchDepth | uint | 否 | 0 | 0 | 文件路径中**通配符匹配的最大目录深度。仅当日志路径中存在**通配符时有效,取值范围为 0~1000。 |
ExcludeFilePaths | [string] | 否 | 空 | ["/home/admin/*.log"] | 文件路径黑名单。路径必须为绝对路径,支持使用*通配符 |
ExcludeFiles | [string] | 否 | 空 | ["app*.log", "password"] | 文件名黑名单。支持使用*通配符 |
ExcludeDirs | [string] | 否 | 空 | ["/home/admin/dir1", "/home/admin/dir2*"] | 目录黑名单。路径必须为绝对路径,支持使用*通配符 |
FileEncoding | string | 否 | utf8 | utf8 | 文件编码格式。可选值包括 utf8 和 gbk。 |
TailSizeKB | uint | 否 | 1024 | 1024 | 配置首次生效时,匹配文件的起始采集位置距离文件结尾的大小。如果文件大小小于该值,则从头开始采集,取值范围为 0~10485760KB。 |
Multiline | object | 否 | 空 | / | 多行聚合选项。 |
Multiline.Mode | string | 否 | custom | custom | 多行聚合模式。可选值包括 custom 和 JSON。 |
Multiline.StartPattern | string | 当 Multiline.Mode 取值为 custom 时必填 | 空 | \d+-\d+-\d+.* | 行首正则表达式。 |
EnableContainerDiscovery | bool | 否 | false | true | 是否启用容器发现功能。仅当 Logtail 以 Daemonset 模式运行,且采集文件路径为容器内路径时有效。 |
ContainerFilters | object | 否 | 空 | / | 容器过滤选项。多个选项之间为“且”的关系,仅当 EnableContainerDiscovery 取值为 true 时有效。 |
ContainerFilters.K8sNamespaceRegex | string | 否 | 空 | default | 对于部署于 K8s 环境的容器,指定待采集容器所在 Pod 所属的命名空间条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。 |
ContainerFilters.K8sPodRegex | string | 否 | 空 | test-pod | 对于部署于 K8s 环境的容器,指定待采集容器所在 Pod 的名称条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。 |
ContainerFilters.IncludeK8sLabel | map | 否 | 空 | / | 对于部署于 K8s 环境的容器,指定待采集容器所在 pod 的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为 Pod 标签名,value 为 Pod 标签的值,说明如下:
|
ContainerFilters.ExcludeK8sLabel | map | 否 | 空 | / | 对于部署于 K8s 环境的容器,指定需要排除采集容器所在 pod 的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为 pod 标签名,value 为 pod 标签的值,说明如下:
|
ContainerFilters.K8sContainerRegex | string | 否 | 空 | test-container | 对于部署于 K8s 环境的容器,指定待采集容器的名称条件。如果未添加该参数,则表示采集所有容器。支持正则匹配。 |
ContainerFilters.IncludeEnv | map | 否 | 空 | / | 指定待采集容器的环境变量条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为环境变量名,value 为环境变量的值,说明如下:
|
ContainerFilters.ExcludeEnv | map | 否 | 空 | / | 指定需要排除采集容器的环境变量条件。多个条件之间为“或”的关系,如果未添加该参数,则表示采集所有容器。支持正则匹配。 map 中的 key 为环境变量名,value 为环境变量的值,说明如下:
|
ContainerFilters.IncludeContainerLabel | map | 否 | 空 | / | 指定待采集容器的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则默认为空,表示采集所有容器。支持正则匹配。 map 中的 key 为容器标签名,value 为容器标签的值,说明如下:
|
ContainerFilters.ExcludeContainerLabel | map | 否 | 空 | / | 指定需要排除采集容器的标签条件。多个条件之间为“或”的关系,如果未添加该参数,则默认为空,表示采集所有容器。支持正则匹配。 map 中的 key 为容器标签名,value 为容器标签的值,说明如下:
|
ExternalK8sLabelTag | map | 否 | 空 | / | 对于部署于 K8s 环境的容器,需要在日志中额外添加的与 Pod 标签相关的 tag。map 中的 key 为 Pod 标签名,value 为对应的 tag 名。 例如:在 map 中添加app: k8s\_label\_app ,则若 pod 中包含app=serviceA 的标签时,会将该信息以 tag 的形式添加到日志中,即添加字段__tag__:k8s_label_app: serviceA ;若不包含app 标签,则会添加空字段__tag__:k8s_label_app: 。 |
ExternalEnvTag | map | 否 | 空 | / | 对于部署于 K8s 环境的容器,需要在日志中额外添加的与容器环境变量相关的 tag。map 中的 key 为环境变量名,value 为对应的 tag 名。 例如:在 map 中添加VERSION: env\_version ,则当容器中包含环境变量VERSION=v1.0.0 时,会将该信息以 tag 的形式添加到日志中,即添加字段__tag__:env_version: v1.0.0 ;若不包含VERSION 环境变量,则会添加空字段__tag__:env_version: 。 |
CollectingContainersMeta | bool | 否 | false | true | 是否启用容器元信息预览。 |
AppendingLogPositionMeta | bool | 否 | false | false | 是否在日志中添加该条日志所属文件的元信息,包括__tag__:__inode__字段和__file_offset__字段。 |
AllowingIncludedByMultiConfigs | bool | 否 | false | false | 是否允许当前配置采集其它配置已匹配的文件。 |
MySQL 输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | service_mysql | 插件类型。固定为 service_mysql。 |
Address | string | 否 | 127.0.0.1:3306 | rm-*.mysql.rds.aliyuncs.com | MySQL 地址。 |
User | string | 否 | root | root | 用于登录 MySQL 数据库的用户名称。 |
Password | string | 否 | 空 | 用于登录 MySQL 数据库的用户密码。如果安全需求较高,建议将用户名称和密码配置为 xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json 中找到对应配置进行修改。具体操作,请参见修改本地配置。注意 如果您在控制台上修改了此参数,同步至本地后会覆盖本地的配置。 | |
DataBase | string | 否 | / | project_database | 数据库名称。 |
DialTimeOutMs | int | 否 | 5000 | 5000 | 连接 MySQL 数据库超时时间,单位:ms。 |
ReadTimeOutMs | int | 否 | 5000 | 5000 | 读取 MySQL 查询结果的超时时间,单位:ms。 |
StateMent | string | 否 | / | SELECT 语句。设置 CheckPoint 为 true 时,Statement 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列(CheckPointColumn)。支持使用半角问号(?)表示替换符,与 CheckPoint 列配合使用。 例如设置 CheckPointColumn 为 id,设置 CheckPointStart 为 0,设置 StateMent 为SELECT * from ... where id > ? 。则每次采集后,系统会保存最后一条数据的 ID 作为 Checkpoint,下次采集时查询语句中的半角问号(?)将被替换为该 Checkpoint 对应的 ID。 | |
Limit | bool | 否 | false | true | 是否使用 Limit 分页。
|
PageSize | int | 否 | / | 10 | 分页大小,Limit 为 true 时必须配置。 |
MaxSyncSize | int | 否 | 0 | 0 | 每次同步最大记录数。默认值为 0,表示无限制。 |
CheckPoint | bool | 否 | false | true | 是否使用 CheckPoint。
|
CheckPointColumn | string | 否 | 空 | 1 | CheckPoint 列名称。设置 CheckPoint 为 true 时,需要配置。 警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。 |
CheckPointColumnType | string | 否 | 空 | int | CheckPoint 列的数据类型,支持 int 和 time。int 类型的内部存储为 int64,time 类型支持 MySQL 的 date、datetime、time 类型。设置 CheckPoint 为 true 时,需要配置。 |
CheckPointStart | string | 否 | 空 | CheckPoint 列的初始值。设置 CheckPoint 为 true 时,需要配置。 | |
CheckPointSavePerPage | bool | 否 | true | true | 是否每次分页时保存一次 CheckPoint。
|
IntervalMs | int | 否 | 60000 | 60000 | 同步间隔,默认值为 60000,单位:ms。 |
HTTP 输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | metric_http | 插件类型。固定为 metric_http。 |
Address | string | 是 | / | URL 列表。 重要 必须以http 或https 开头。 | |
IntervalMs | int | 是 | / | 10 | 每次请求的间隔,单位:ms。 |
Method | string | 否 | GET | GET | 请求的方法名,必须大写。 |
Body | string | 否 | 空 | HTTP Body 字段内容。 | |
Headers | map | 否 | 空 | {"key":"value"} | HTTP Header 的内容,例如{"key":"value"} ,请根据实际值替换。 |
PerAddressSleepMs | int | 否 | 100 | 100 | Addresses 列表中,每个 URL 请求的间隔时间,单位:ms。 |
ResponseTimeoutMs | int | 否 | 5000 | 5000 | 请求超时的时间,单位:ms。 |
IncludeBody | bool | 否 | false | true | 是否采集请求的 Body,默认值:false。如果为 true,则将请求 Body 内容存放在名为 content 的 key 中。 |
FollowRedirects | bool | 否 | false | false | 是否自动处理重定向。 |
InsecureSkipVerify | bool | 否 | false | false | 是否跳过 HTTPS 安全检查。 |
ResponseStringMatch | string | 否 | / | 对返回的 Body 内容进行正则表达式检查,检查结果被存放在名为_response_match_的 key 中,如果匹配,value 为 yes;如果不匹配,value 为 no。 |
Syslog 输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | service_syslog | 数据源类型,固定为 service_syslog。 |
Address | string | 否 | tcp://127.0.0.1:9999 | 指定 Logtail 监听的协议、地址和端口,Logtail 会根据 Logtail 配置进行监听并获取日志数据。格式为[tcp/udp]://[ ip ]:[ port ] 。不配置时,默认为tcp://127.0.0.1:9999 ,即表示(只能接收本地转发的日志。 说明
| |
ParseProtocol | string | 否 | 空 | rfc3164 | 指定解析日志所使用的协议,默认为空,表示不解析。其中:
|
IgnoreParseFailure | bool | 否 | true | true | 指定解析失败后的操作,不配置时,默认为true ,表示放弃解析,直接填充所返回的 content 字段。配置为false ,表示解析失败时丢弃日志。 |
Systemd Journal 输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | service_journal | 数据源类型,固定为 service_journal。 |
JournalPaths | [string] | 是 | 空 | /var/log/journal | Journal 日志路径,建议配置为 Journal 日志所在目录。 |
SeekPosition | string | 否 | tail | tail | 首次采集方式,可以配置为 head 或 tail。
|
Kernel | bool | 否 | true | true | 是否采集内核日志,表示采集内核日志。 |
Units | [string] | 否 | 空 | "" | 指定采集的 Unit 列表,默认为空,表示全部采集。 |
ParseSyslogFacility | bool | 否 | false | false | 是否解析 syslog 日志的 facility 字段。不配置时,表示不解析。 |
ParsePriority | bool | 否 | false | false | 是否解析 Priority 字段。不配置时,表示不解析。 设置为 true 时,Priority 字段的映射关系如下所示。 plaintext "0": "emergency" "1": "alert" "2": "critical" "3": "error" "4": "warning" "5": "notice" "6": "informational" "7": "debug" |
UseJournalEventTime | bool | 否 | false | false | 是否使用 Journal 日志中的字段作为日志时间。不配置时,表示使用采集时间作为日志时间。实时日志采集一般相差 3 秒以内。 |
SQL Server 输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | service_mssql | 插件类型。固定为 service_mssql。 |
Address | string | 否 | 127.0.0.1:1433 | rm-*.sqlserver.rds.aliyuncs.com | SQL Server 地址。 |
User | string | 否 | root | root | 用于登录 SQL Server 数据库的账号名称。 |
Password | string | 否 | 空 | 用于登录 SQL Server 数据库的账号密码。如果安全需求较高,建议将用户名称和密码配置为 xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json 中找到对应配置进行修改。具体操作,请参见修改本地配置。注意 如果您在控制台上修改了此参数,同步至本地后会覆盖本地的配置。 | |
DataBase | string | 否 | / | project_database | 数据库名称。 |
DialTimeOutMs | int | 否 | 5000 | 5000 | 连接 SQL Server 数据库的超时时间,单位:ms。 |
ReadTimeOutMs | int | 否 | 5000 | 5000 | 读取 SQL Server 查询结果的超时时间,单位:ms。 |
StateMent | string | 否 | / | SELECT 语句。设置 CheckPoint 为 true 时,Statement 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列(CheckPointColumn)。支持使用半角问号(?)表示替换符,与 CheckPoint 列配合使用。 例如设置 CheckPointColumn 为 id,设置 CheckPointStart 为 0,设置 StateMent 为SELECT * from ... where id > ? 。则每次采集后,系统会保存最后一条数据的 ID 作为 Checkpoint,下次采集时查询语句中的半角问号(?)将被替换为该 Checkpoint 对应的 ID。 | |
Limit | bool | 否 | false | true | 是否使用 Limit 分页。
|
PageSize | int | 否 | / | 10 | 分页大小,Limit 为 true 时必须配置。 |
MaxSyncSize | int | 否 | 0 | 0 | 每次同步最大记录数。默认值为 0,表示无限制。 |
CheckPoint | bool | 否 | false | true | 是否使用 CheckPoint。
|
CheckPointColumn | string | 否 | 空 | 1 | CheckPoint 列名称。CheckPoint 为 true 时必须配置。 警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。 |
CheckPointColumnType | string | 否 | 空 | int | CheckPoint 列的数据类型,支持 int 和 time。int 类型的内部存储为 int64,time 类型支持 SQL Server 的 date、datetime、time 类型。设置 CheckPoint 为 true 时,需要配置。 |
CheckPointStart | string | 否 | 空 | CheckPoint 列的初始值。设置 CheckPoint 为 true 时,需要配置。 | |
CheckPointSavePerPage | bool | 否 | true | true | 是否每次分页时保存一次 CheckPoint。
|
IntervalMs | int | 否 | 60000 | 60000 | 同步间隔,默认值为 60000,单位:ms。 |
PostgreSQL 输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | service_pgsql | 插件类型。固定为 service_pgsql。 |
Address | string | 否 | 127.0.0.1:5432 | rm-*.pg.rds.aliyuncs.com | PostgreSQL 地址。 |
User | string | 否 | root | root | 用于登录 PostgreSQL 地址数据库的账号名称。 |
Password | string | 否 | 空 | 用于登录 PostgreSQL 数据库的账号密码。如果安全需求较高,建议将用户名称和密码配置为 xxx,待采集配置同步至本地机器后,在本地文件/usr/local/ilogtail/user_log_config.json 中找到对应配置进行修改。具体操作,请参见修改本地配置。注意 如果您在控制台上修改了此参数,同步至本地后会覆盖本地的配置。 | |
DataBase | string | 否 | / | project_database | PostgreSQL 数据库名称。 |
DialTimeOutMs | int | 否 | 5000 | 5000 | 连接 PostgreSQL 数据库的超时时间,单位:ms。 |
ReadTimeOutMs | int | 否 | 5000 | 5000 | 读取 PostgreSQL 查询结果的超时时间,单位:ms。 |
StateMent | string | 否 | / | SELECT 语句。 设置 CheckPoint 为 true 时,StateMent 中 SELECT 语句的 where 条件中必须包含 CheckPoint 列(CheckPointColumn 参数),并将该列的值设置为$1。例如:设置 CheckPointColumn 为 id,设置 StateMent 为SELECT * from ... where id > $1 | |
Limit | bool | 否 | false | true | 是否使用 Limit 分页。
|
PageSize | int | 否 | / | 10 | 分页大小,Limit 为 true 时必须配置。 |
MaxSyncSize | int | 否 | 0 | 0 | 每次同步最大记录数。默认值为 0,表示无限制。 |
CheckPoint | bool | 否 | false | true | 是否使用 CheckPoint。
|
CheckPointColumn | string | 否 | 空 | 1 | CheckPoint 列名称。CheckPoint 为 true 时必须配置。 警告 该列的值必须递增,否则可能会出现数据漏采集问题(每次查询结果中的最大值将作为下次查询的输入)。 |
CheckPointColumnType | string | 否 | 空 | int | CheckPoint 列的数据类型,支持 int 和 time。int 类型的内部存储为 int64,time 类型支持 PostgreSQL 的时间类型。设置 CheckPoint 为 true 时,需要配置。 |
CheckPointStart | string | 否 | 空 | CheckPoint 列的初始值。设置 CheckPoint 为 true 时,需要配置。 | |
CheckPointSavePerPage | bool | 否 | true | true | 是否每次分页时保存一次 CheckPoint。
|
IntervalMs | int | 否 | 60000 | 60000 | 同步间隔,默认值为 60000,单位:ms。 |
SNMP 协议输入插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Targets | [string] | 是 | / | 127.0.0.1 | 目标机器组的 IP 地址。 |
Port | string | 否 | 161 | 161 | SNMP 协议使用的端口。 |
Community | string | 否 | public | public | 团体名称,SNMPv1 和 SNMPv2 使用团体名进行认证。 |
UserName | string | 否 | 空 | root | 用户名,SNMPv3 支持使用用户名进行认证。 |
AuthenticationProtocol | string | 否 | NoAuth | NoAuth | 验证协议,SNMPv3 支持使用验证协议进行认证。 |
AuthenticationPassphrase | string | 否 | 空 | 验证密码,默认值为空。设置AuthenticationProtocol 为MD5 或SHA 时,需要设置AuthenticationPassphrase 。 | |
PrivacyProtocol | string | 否 | NoPriv | NoPriv | 隐私协议,SNMPv3 支持使用隐私协议进行认证。 |
PrivacyPassphrase | string | 否 | 空 | 隐私协议密码,默认与验证密码一致。 当设置PrivacyProtocol 为DES 或AES 时,必须设置PrivacyPassphrase 。 | |
Timeout | int | 否 | 5 | 5 | 一次查询操作的超时时间,单位为秒。 |
Version | int | 否 | 2 | 2 | SNMP 协议版本。 可选值为1 、2 、3 。 |
Transport | string | 否 | udp | udp | SNMP 通讯方法,可选值为udp 、tcp 。 |
MaxRepetitions | int | 否 | 0 | 0 | 查询超时后的重试次数。 |
Oids | [string] | 否 | 空 | 1 | 在目标机器中查询的对象标识符。 |
Fields | [string] | 否 | 空 | int | 在目标机器中查询的字段,本插件会先对字段进行翻译,即查找本地管理信息库,将其翻译为对象标识符并一起查询。 |
Tables | [string] | 否 | 空 | 在目标机器中查询的表,本插件会先查询表内所有的字段,然后查找本地管理信息库,将其翻译为对象标识符并一起查询。 |
脚本输出采集插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | input_command | 数据源类型,固定为 input_command。 |
ScriptType | string | 是 | 空 | shell | 指定脚本内容的类型,目前支持 bash、shell、python2、python3。 |
User | string | 是 | / | public | 运行命令使用的用户名,只支持非 Root 用户。 说明 * 请确保指定的用户名在机器中存在。 建议配置最小权限,只授予需要关注的目录或文件 rwx 权限 。 |
ScriptContent | string | 是 | 空 | 脚本内容,支持 PlainText 和 Base64 加密的内容,长度在 512*1024 字节内。 | |
ContentEncoding | string | 否 | PlainText | PlainText | 脚本内容的文本格式,可选值。
|
LineSplitSep | string | 否 | 空 | 脚本输出内容的分隔符,为空时不进行分割,全部作为一条数据返回。 | |
CmdPath | string | 否 | 空 | /usr/bin/bash | 执行脚本命令的路径,如果为空,则使用默认路径。默认路径如下:
|
TimeoutMilliSeconds | int | 否 | 3000 | 3000 | 执行脚本的超时时间,单位为毫秒。 |
IgnoreError | bool | 否 | false | false | 插件执行出错时是否输出 Error 日志。默认值为 false。 |
Environments | [string] | 否 | 环境变量,默认为 os.Environ()的值,如果设置了 Environments,则在 os.Environ()的基础上追加设置的环境变量。 | ||
IntervalMs | int | 否 | 5000 | 5000 | 采集触发频率或脚本执行频率。单位为毫秒。 |
原生处理插件
正则解析原生处理插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | processor_parse_regex_native | 插件类型。固定为 processor_parse_regex_native。 |
SourceKey | string | 是 | / | content | 源字段名。 |
Regex | string | 是 | / | (\d+-\d+-\d+)\s+(.*) | 正则表达式。 |
Keys | [string] | 是 | / | ["time", "msg"] | 提取的字段列表。 |
KeepingSourceWhenParseFail | bool | 否 | false | false | 当解析失败时,是否保留源字段。 |
KeepingSourceWhenParseSucceed | bool | 否 | false | false | 当解析成功时,是否保留源字段。 |
RenamedSourceKey | string | 否 | 空 | key | 当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。 |
JSON 解析原生处理插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | processor_parse_json_native | 插件类型。固定为 processor_parse_json_native。 |
SourceKey | string | 是 | / | content | 源字段名。 |
KeepingSourceWhenParseFail | bool | 否 | false | false | 当解析失败时,是否保留源字段。 |
KeepingSourceWhenParseSucceed | bool | 否 | false | false | 当解析成功时,是否保留源字段。 |
RenamedSourceKey | string | 否 | 空 | key | 当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。 |
分隔符解析原生处理插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | processor_parse_delimiter_native | 插件类型。固定为 processor_parse_delimiter_native。 |
SourceKey | string | 是 | / | content | 源字段名。 |
Separator | string | 是 | / | , | 分隔符。 |
Quote | string | 否 | " | " | 引用符。 |
Keys | [string] | 是 | / | ["time", "msg"] | 提取的字段列表。 |
AllowingShortenedFields | bool | 否 | true | true | 是否允许提取的字段数量小于 Keys 的数量。若不允许,则此情景会被视为解析失败。 |
OverflowedFieldsTreatment | string | 否 | extend | extend | 当提取的字段数量大于 Keys 的数量时的行为。可选值包括:
|
KeepingSourceWhenParseFail | bool | 否 | false | false | 当解析失败时,是否保留源字段。 |
KeepingSourceWhenParseSucceed | bool | 否 | false | false | 当解析成功时,是否保留源字段。 |
RenamedSourceKey | string | 否 | 空 | key | 当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。 |
飞天解析原生处理插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | processor_parse_apsara_native | 插件类型。固定为 processor_parse_apsara_native。 |
SourceKey | string | 是 | / | content | 源字段名。 |
Timezone | string | 否 | 空 | GMT+08:00 | 日志时间所属时区。格式为 GMT+HH:MM(东区)或 GMT-HH:MM(西区)。 |
KeepingSourceWhenParseFail | bool | 否 | false | false | 当解析失败时,是否保留源字段。 |
KeepingSourceWhenParseSucceed | bool | 否 | false | false | 当解析成功时,是否保留源字段。 |
RenamedSourceKey | string | 否 | 空 | key | 当源字段被保留时,用于存储源字段的字段名。若不填,默认不改名。 |
时间解析原生处理插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | processor_parse_timestamp_native | 插件类型。固定为 processor_parse_timestamp_native。 |
SourceKey | string | 是 | / | content | 源字段名。 |
SourceFormat | string | 是 | / | %Y/%m/%d %H:%M:%S | 日志时间格式。更多信息,请参见时间格式。 |
SourceTimezone | string | 否 | 空 | GMT+08:00 | 日志时间所属时区。格式为 GMT+HH:MM(东区)或 GMT-HH:MM(西区)。 |
过滤原生处理插件
参数 | 类型 | 是否必填 | 示例 | 默认值 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | processor_filter_regex_native | / | 插件类型。固定为 processor_filter_regex_native。 |
Include | map | 是 | / | / | 日志字段白名单,其中 key 为字段名,value 为正则表达式,表示如果当前事件要被采集,则 key 指定的字段内容所需要满足的条件。多个条件之间为“且”的关系,仅当所有条件均满足时,该条日志才会被采集。 |
脱敏原生处理插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | processor_desensitize_native | 插件类型。固定为 processor_desensitize_native。 |
SourceKey | string | 是 | / | content | 源字段名。 |
Method | string | 是 | / | const | 脱敏方式。可选值包括: const:用常量替换敏感内容。 md5:用敏感内容的 MD5 值替换相应内容。 |
ReplacingString | string | 否,当 Method 取值为 const 时必选 | / | ****** | 用于替换敏感内容的常量字符串。 |
ContentPatternBeforeReplacedString | string | 是 | / | 'password:' | 敏感内容的前缀正则表达式。 |
ReplacedContentPattern | string | 是 | / | [^']* | 敏感内容的正则表达式。 |
ReplacingAll | bool | 否 | true | true | 是否替换所有的匹配的敏感内容。 |
输出插件
SLS 输出插件
参数 | 类型 | 是否必填 | 默认值 | 示例 | 说明 |
---|---|---|---|---|---|
Type | string | 是 | / | flusher_sls | 插件类型。固定为 flusher_sls。 |
Logstore | stirng | 是 | / | test-logstore | LogStrore 名称。 |
返回参数
示例
正常返回示例
JSON
格式
{}
错误码
访问错误中心查看更多错误码。