日志服务数据处理的工作原理、使用场景和使用限制

如果您需要在日志数据写入Logstore前对数据进行处理，例如数据过滤、字段提取、字段扩展、数据脱敏，可以使用写入处理器（IngestProcessor）。

工作原理

通过Logtail采集、日志服务SDK、Web Tracking功能等方式采集日志数据，数据会先经过写入处理器（IngestProcessor），然后写入Logstore。数据处理过程在日志服务中完成，不会占用客户端的资源。
写入处理器、查询和分析日志、数据加工（新版）都支持SPL语法。

使用场景

字段提取：从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。
扩展字段：为原始日志添加新的字段。
丢弃字段：删除原始日志的部分字段。
数据脱敏：将原始日志的敏感信息进行脱敏处理。
数据过滤：丢弃原始日志的部分数据。

使用限制

写入处理器个数、SPL语句长度、写入处理器个数等配额限制，请参见写入处理器（数据处理）。
目前仅支持中国香港、菲律宾（马尼拉）地域。
目前功能在公测阶段，如需使用请提交工单。

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费，计费单位为OCU。

可观测资源额度OCU（Observability Capacity Unit）是阿里云云原生可观测推出的新版计费单位，可根据每小时资源使用情况自动统计OCU用量，中国站公共云OCU的定价为0.15元/个。

日志服务计算型功能收费计划逐步通过OCU进行计量，以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2GB内存、3000 IOPS，在计算OCU的总数时，会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量，然后取三个OCU数量的最大值作为OCU的最终值，用于计费。

假设用户的计算作业消耗了1 Core CPU，2GB内存，3000 IOPS，则这个作业消耗2个OCU，费用为0.3元。

OCU的计费信息，请参见按写入数据量计费模式计费项和按使用功能计费模式计费项。