数据处理

工作原理

• 通过Logtail采集、日志服务SDK、Web Tracking功能等方式采集日志数据，数据会先经过写入处理器（IngestProcessor），然后写入Logstore。数据处理过程在日志服务中完成，不会占用客户端的资源。

• 写入处理器、查询和分析日志、数据加工（新版）都支持SPL语法。

使用场景

• 字段提取：从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。

• 扩展字段：为原始日志添加新的字段。

• 丢弃字段：删除原始日志的部分字段。

• 数据脱敏：将原始日志的敏感信息进行脱敏处理。

• 数据过滤：丢弃原始日志的部分数据。

使用限制

• 写入处理器个数、SPL语句长度、写入处理器个数等配额限制，请参见写入处理器（数据处理）。

功能计费

写入处理器是按照数据处理过程中消耗的计算资源量进行计费，计费单位为OCU。

可观测资源额度OCU（Observability Capacity Unit）是阿里云云原生可观测推出的新版计费单位，可根据每小时资源使用情况自动统计OCU用量，中国站公共云OCU的定价为0.15元/个。

日志服务计算型功能收费计划逐步通过OCU进行计量，以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2 GB内存、3000 IOPS，在计算OCU的总数时，会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量，然后取三个OCU数量的最大值作为OCU的最终值，用于计费。

假设您的计算作业消耗了1 Core CPU，2GB内存，3000 IOPS，则这个作业消耗2个OCU。在一个计量周期（1小时）内，计算平均消耗的OCU可参考：数据写入处理器处理1GB数据，大约消耗1/3个OCU。数据加工（新版）处理1GB数据，大约消耗1/3个OCU。规则消费处理1GB数据，约消耗0.3个OCU。

OCU的计费信息，请参见按写入数据量计费模式计费项和按使用功能计费模式计费项。