文档

OSSExportConfiguration

更新时间:
名称类型描述示例值
object

OSSExportConfiguration

logstorestring

Logstore 名称

my-logstore
roleArnstring

读 SLS RAM 角色 roleArn,请填写您自己的角色 roleArn

acs:ram::1234567890:role/aliyunlogdefaultrole
sinkobject

投递 OSS 配置

endpointstring
  • OSS Endpoint,只能是 OSS 内网 Endpoint,仅支持同地域。详情请参见 OSS 访问域名和数据中心,值为http://+OSS Endpoint
  • OSS-HDFS Endpoint,只能是 OSS-HDFS 内网 Endpoint,仅支持同地域。
https://oss-cn-hangzhou-internal.aliyuncs.com
bucketstring

OSS Bucket

my-bucket
prefixstring

OSS 文件前缀

prefix-demo/
suffixstring

OSS 文件后缀

.json
roleArnstring

写 OSS RAM 角色 roleArn,请填写您自己的角色 roleArn

acs:ram::1234567890:role/aliyunlogdefaultrole
pathFormatstring

分区格式,详情参见分区格式

%Y/%m/%d/%H/%M
pathFormatTypestring

分区格式类型

time
timeZonestring

时区,详情参见时区列表

+0800
contentTypestring

OSS 文件存储支持 4 种格式,如:json、parquet、csv、orc

csv
contentDetailobject

OSS 文件内容详情,注意:该参数值为 json 格式并且应受 contentType 参数值的不同进行更新,参考如下详细

any

contentType 值为 json 时,contentDetail 值的参数详细,

  • 若允许投递 tag,参数 enableTag 值为 true,如:{"enableTag": true}
  • 不允许投递 tag,参数 enableTag 值为 false,如:{"enableTag": false}

contentType 值为 csv 时,contentDetail 值的参数详细:

  • 参数 columns 为源日志库中日志的 key,如:["bucket", "bucket_location", "cdn_in", "cdn_out"]
  • 分隔符参数 delimiter,有四种情况值,如","、"|"、" " 或 "\t"
  • 参数 header 决定 oss 文件是否保留 header,有两种情况值,如 true 或 false
  • 换行符参数 lineFeed,有三种情况值,如"\t"、"\n" 或 ""
  • 无效字段内容参数 nullI,来指定字段名称不存在时的投递内容,如"-"
  • 转义符参数 quote,有三种情况值,如"""、"'" 或 ""

contentType 值为 parquet 时,contentDetail 值的参数详细:

  • 参数 columns 为源日志库中日志的 key,且需携带 key 的数据类型,如:{'columns': [{'name': "bucket", 'type': "string"}, {'name': "bucket_location", 'type': "string"}, {'name': "cdn_in", 'type': "string"},{'name': "cdn_out", 'type': "string"}]

contentType 值为 orc 时,contentDetail 值的参数详细:

  • 参数 columns 为源日志库中日志的 key,且需携带 key 的数据类型,如:{'columns': [{'name': "bucket", 'type': "string"}, {'name': "bucket_location", 'type': "string"}, {'name': "cdn_in", 'type': "string"},{'name': "cdn_out", 'type': "string"}]
{ "columns": [ "your log key1", "your log key2", "your log key3", ], "delimiter": " ", "header": True, "lineFeed": "\n", "null": "-", "quote": "\"" },
compressionTypestring

支持 4 种压缩类型,如:snappy、gizp、zstd、none

snappy
bufferIntervallong

投递时间,取值范围为 300~900,单位为秒。

300
bufferSizelong

投递的文件大小,取值范围为 5~256,单位为 MB。

256
delaySecdeprecatedlong

延迟投递时间

说明
  • 该字段废弃使用。
  • 123
    delaySecondslong

    延迟投递时间,设置的时间不能超过目标 Logstore 的数据保存时间。

    900
    fromTimelong

    时间范围开始,值设为 1 则表示将从日志库中第一条数据开始

    1718380800
    toTimelong

    时间范围结束,值设为 0 则表示任务会一直运行,除非任务被手动停止。

    1718380800