OSSIngestionConfigurationSource

更新时间:
复制为 MD 格式

名称

类型

描述

示例值

object

OSS 导入配置

endpoint

string

oss endpoint

oss-cn-hangzhou.aliyuncs.com

bucket

string

oss bucket

ossbucket

compressionCodec

string

压缩类型

none

encoding

string

编码类型

UTF-8

interval

string

检查新文件周期

never

pattern

string

文件路径正则过滤

.*

prefix

string

文件路径前缀过滤

prefix

restoreObjectEnabled

boolean

导入归档文件

true

startTime

integer

某个时间点后修改过的文件

1714274081

endTime

integer

某个时间点前修改过的文件

1714360481

timeField

string

提取时间字段

__time__

timeFormat

string

时间字段格式

yyyy-MM-dd HH:mm:ss

timePattern

string

提取时间正则

[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+

timeZone

string

时间字段分区

GMT+08:00

useMetaIndex

boolean

使用 OSS 元数据索引

false

roleARN

string

roleArn

acs:ram::12345:role/aliyunlogdefaultrole

tagPackId

boolean

启动上下文检索

true

processorId

string

写入处理器 id

ingest-processor-1756802123-953901

format

object

格式

any

OSS 数据格式。

  • 单行文本日志:{"type":"Line"}

  • CSV:

{
  "type": "CSV",
  "fieldDelimiter": ",",   //分隔符
  "quoteChar": "\"",      //引号
  "escapeChar": "\\",    //转义符
  "firstRowAsHeader": true,    //首行是否作为字段名称
  "maxLines": 1,    //日志最大跨行数
  "skipLeadingRows": 0   //跳过行数
}

  • 单行 JSON:{"type": "JSON"}

  • 跨行文本日志:

{
  "type": "Multiline",
  "match": "after", //正字匹配位置
  "pattern": "\\d+", //正则表达式
  "maxLines": 10 //最大行数
}
  • ORC:{"type": "ORC"}

  • Parquet:{"type": "Parquet"}

  • 阿里云 OSS 访问日志:{"type": "ossAccessLog"}

  • 阿里云 CDN 下载日志:{"type": "cdnDownloadedLog"}

{"type": "Line"}

advancedParameters

object

any