OSSExportConfiguration

名称类型描述示例值
object

OSSExportConfiguration

logstorestring

Logstore 名称

my-logstore
roleArnstring

读 SLS RAM 角色 roleArn,请填写您自己的角色 roleArn

acs:ram::1234567890:role/aliyunlogdefaultrole
sinkobject

投递 OSS 配置

endpointstring
  • OSS Endpoint,只能是 OSS 内网 Endpoint,仅支持同地域。详情请参见 OSS 访问域名和数据中心,值为http://+OSS Endpoint
  • OSS-HDFS Endpoint,只能是 OSS-HDFS 内网 Endpoint,仅支持同地域。
https://oss-cn-hangzhou-internal.aliyuncs.com
bucketstring

OSS Bucket

my-bucket
prefixstring

OSS 文件前缀

prefix-demo/
suffixstring

OSS 文件后缀

.json
roleArnstring

写 OSS RAM 角色 roleArn,请填写您自己的角色 roleArn

acs:ram::1234567890:role/aliyunlogdefaultrole
pathFormatstring

分区格式,详情参见分区格式

%Y/%m/%d/%H/%M
pathFormatTypestring

分区格式类型

time
timeZonestring

时区,详情参见时区列表

+0800
contentTypestring

OSS 文件存储支持 4 种格式,如:json、parquet、csv、orc

csv
contentDetailobject

OSS 文件内容详情,注意:该参数值为 JSON 格式并且应受 contentType 参数值的不同进行更新。

any

contentType 值为 JSON 时,contentDetail 值的详细参数:

  • enableTag
    • 是否必填:是
    • 类型:布尔
    • 描述:是否投递 tag 字段
    • 值:
      • true
        • 描述:投递 tag 字段
        • 示例:{"enableTag": true}
      • false
        • 描述:不投递 tag 字段
        • 示例:{"enableTag": false}

contentType 值为 csv 时,contentDetail 值的详细参数:

  • columns
    • 是否必填:是
    • 类型:数组
    • 描述:源日志库中日志的 key
    • 示例:{"columns":["a", "b", "c", "d"]}
  • delimiter
    • 是否必填:是
    • 类型:字符串
    • 描述:内容间分隔符
    • 值:","、"|"、" " 或 "\t"
  • header
    • 是否必填:是
    • 类型:布尔
    • 描述:是否将字段名称写入 CSV 文件(第一行)
    • 值:
      • true
      • false
  • lineFeed
    • 是否必填:否
    • 类型:字符串
    • 描述:自定义换行符
    • 值:"\t"、"\n" 或 ""
    • 默认值:"\n"
  • nullI
    • 是否必填:否
    • 类型:字符串
    • 描述:自定义无效字段的填充值
    • 默认值:""
  • quote
    • 是否必填:是
    • 类型:字符串
    • 描述:自定义转义符
    • 值:"\""、"'" 或 "" 完整示例:{"null": "-", "header": false, "lineFeed": "\n", "quote": "", "delimiter": ",", "columns": ["a", "b", "c", "d"]}

contentType 值为 parquet 时,contentDetail 值的详细参数:

  • columns
    • 是否必填:是
    • 类型:数组
    • 描述:源日志库中日志的 key
    • 示例:{"columns": [{"name": "a", "type": "string"}, {"name": "b", "type": "string"}, {"name": "c", "type": "string"},{"name": "d", "type": "string"}]}

contentType 值为 orc 时,contentDetail 值的详细参数:

  • columns
    • 是否必填:是
    • 类型:数组
    • 描述:源日志库中日志的 key
    • 示例:{"columns": [{"name": "a", "type": "string"}, {"name": "b", "type": "string"}, {"name": "c", "type": "string"},{"name": "d", "type": "string"}]}
{ "columns": [ "your log key1", "your log key2", "your log key3", ], "delimiter": " ", "header": true, "lineFeed": "\n", "null": "-", "quote": "\"" },
compressionTypestring

支持 4 种压缩类型,如:snappy、gzip、zstd、none

snappy
bufferIntervallong

投递时间,取值范围为 300~900,单位为秒。

300
bufferSizelong

投递的文件大小,取值范围为 5~256,单位为 MB。

256
delaySecdeprecatedlong

延迟投递时间

说明
  • 该字段废弃使用。
  • 123
    delaySecondslong

    延迟投递时间,设置的时间不能超过目标 Logstore 的数据保存时间。

    900
    fromTimelong

    时间范围开始,值设为 1 则表示将从日志库中第一条数据开始

    1718380800
    toTimelong

    时间范围结束,值设为 0 则表示任务会一直运行,除非任务被手动停止。

    1718380800