OSSIngestionConfigurationSource

名称类型描述示例值
object

OSS 导入配置

endpointstring

oss endpoint

oss-cn-hangzhou.aliyuncs.com
bucketstring

oss bucket

ossbucket
compressionCodecstring

压缩类型

none
encodingstring

编码类型

UTF-8
formatobject

格式

any

OSS 数据格式。

  • 单行文本日志:{"type":"Line"}
  • CSV:
{
  "type": "CSV",
  "fieldDelimiter": ",",   //分隔符
  "quoteChar": "\"",      //引号
  "escapeChar": "\\",    //转义符
  "firstRowAsHeader": true,    //首行是否作为字段名称
  "maxLines": 1,    //日志最大跨行数
  "skipLeadingRows": 0   //跳过行数
}

  • 单行 JSON:{"type": "JSON"}
  • 跨行文本日志:
{
  "type": "Multiline",
  "match": "after", //正字匹配位置
  "pattern": "\\d+", //正则表达式
  "maxLines": 10 //最大行数
}
  • ORC:{"type": "ORC"}
  • Parquet:{"type": "Parquet"}
  • 阿里云 OSS 访问日志:{"type": "ossAccessLog"}
  • 阿里云 CDN 下载日志:{"type": "cdnDownloadedLog"}
{"type": "Line"}
intervalstring

检查新文件周期

never
patternstring

文件路径正则过滤

.*
prefixstring

文件路径前缀过滤

prefix
restoreObjectEnabledboolean

导入归档文件

true
startTimelong

某个时间点后修改过的文件

1714274081
endTimelong

某个时间点前修改过的文件

1714360481
timeFieldstring

提取时间字段

__time__
timeFormatstring

时间字段格式

yyyy-MM-dd HH:mm:ss
timePatternstring

提取时间正则

[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+
timeZonestring

时间字段分区

GMT+08:00
useMetaIndexboolean

使用 OSS 元数据索引

false
roleARNstring

roleArn

acs:ram::12345:role/aliyunlogdefaultrole