文档

写入处理器概述

更新时间:

如果您需要在日志数据写入Logstore前对数据进行处理,例如数据过滤、字段提取、字段扩展、数据脱敏,可以使用写入处理器(IngestProcessor)。

工作原理

image

使用场景

  • 字段提取:从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。

  • 扩展字段:为原始日志添加新的字段。

  • 丢弃字段:删除原始日志的部分字段。

  • 数据脱敏:将原始日志的敏感信息进行脱敏处理。

  • 数据过滤:丢弃原始日志的部分数据。

使用限制

  • 写入处理器个数、SPL语句长度、写入处理器个数等配额限制,请参见写入处理器(数据处理)

  • 目前仅支持中国香港、菲律宾(马尼拉)地域。

  • 目前功能在公测阶段,如需使用请提交工单

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费,计费单位为OCU。

可观测资源额度OCU(Observability Capacity Unit)是阿里云云原生可观测推出的新版计费单位,可根据每小时资源使用情况自动统计OCU用量,中国站公共云OCU的定价为0.15元/个

日志服务计算型功能收费计划逐步通过OCU进行计量,以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2GB内存、3000 IOPS,在计算OCU的总数时,会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量,然后取三个OCU数量的最大值作为OCU的最终值,用于计费。

假设用户的计算作业消耗了1 Core CPU,2GB内存,3000 IOPS,则这个作业消耗2个OCU,费用为0.3元。

OCU的计费信息,请参见按写入数据量计费模式计费项按使用功能计费模式计费项