写入处理器功能详解与计费-日志服务-阿里云-日志服务(SLS)-阿里云帮助中心

如果您需要在日志数据写入Logstore前对数据进行处理，例如数据过滤、字段提取、字段扩展、数据脱敏，可以使用写入处理器（IngestProcessor）。

工作原理

通过Logtail采集、日志服务SDK、Web Tracking功能等方式采集日志数据，数据会先经过写入处理器（IngestProcessor），然后写入Logstore。数据处理过程在日志服务中完成，不会占用客户端的资源。
写入处理器、查询和分析日志、数据加工（新版）都支持SPL语法。

使用场景

字段提取：从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。
扩展字段：为原始日志添加新的字段。
丢弃字段：删除原始日志的部分字段。
数据脱敏：将原始日志的敏感信息进行脱敏处理。
数据过滤：丢弃原始日志的部分数据。

使用限制

限制项	说明
写入处理器个数	每个Project下最多创建100个IngestProcessor。
写入处理器配置中SPL语句长度	每个SPL语句长度不超过4000个字符。
写入处理器中SPL指令限制	仅支持行处理指令，不支持聚合、逻辑判断等指令。
每个Logstore关联的写入处理器个数	每个Logstore最多只能关联一个写入处理器。当Logstore与写入处理器关联后，所有写入该Logstore的数据都会先经过写入处理器进行处理，然后写入Logstore。
更新或删除写入处理器后生效时间	修改或删除写入处理器配置，或者修改Logstore与写入处理器的关联关系，会在一分钟内生效。

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费，计费单位为OCU。

可观测资源额度OCU（Observability Capacity Unit）是阿里云云原生可观测推出的新版计费单位，可根据每小时资源使用情况自动统计OCU用量，中国站公共云OCU的定价为0.15元/个。

日志服务计算型功能收费计划逐步通过OCU进行计量，以用户实际消耗的计算资源作为计量的度量维度。在 CPU 场景下一个OCU的性能约等于0.5 Core CPU、2 GB内存、3000 IOPS，在计算OCU的总数时，会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量，然后取三个OCU数量的最大值作为OCU的最终值，用于计费。

假设您的计算作业消耗了1 Core CPU，2GB内存，3000 IOPS，则这个作业消耗2个OCU。在一个计量周期（1小时）内，计算平均消耗的OCU可参考：数据写入处理器处理1GB数据，大约消耗1/3个OCU。数据加工（新版）处理1GB数据，大约消耗1/3个OCU。规则消费处理1GB数据，约消耗0.3个OCU。

OCU的计费信息，请参见按写入数据量计费模式计费项和按使用功能计费模式计费项。