如果您需要在日志数据写入Logstore前对数据进行处理,例如数据过滤、字段提取、字段扩展、数据脱敏,可以使用写入处理器(IngestProcessor)。
工作原理
使用场景
字段提取:从原始日志字段中通过正则表达式、Key-Value格式、JSON等解析方式提取出新的字段。
扩展字段:为原始日志添加新的字段。
丢弃字段:删除原始日志的部分字段。
数据脱敏:将原始日志的敏感信息进行脱敏处理。
数据过滤:丢弃原始日志的部分数据。
使用限制
写入处理器个数、SPL语句长度、写入处理器个数等配额限制,请参见写入处理器(数据处理)。
支持地域
公共云
地域 | |
华南2(河源) | 泰国(曼谷) |
西南1(成都) | 德国(法兰克福) |
华南1(深圳) | 新加坡 |
华南3(广州) | 日本(东京) |
华北1(青岛) | 美国(弗吉尼亚) |
华北5(呼和浩特) | 美国(硅谷) |
华东5(南京-本地地域) | 英国(伦敦) |
华东6(福州-本地地域) | 阿联酋(迪拜) |
中国香港 | 沙特(利雅得) 重要 沙特(利雅得)地域由合作伙伴运营。 |
韩国(首尔) | 印度尼西亚(雅加达) |
马来西亚(吉隆坡) | 菲律宾(马尼拉) |
金融云
华东2(上海金融云) | 华北2(北京金融云) |
华东1(杭州金融云) | 华南1(深圳金融云) |
功能计费
写入处理器是按照数据处理过程中消耗的计算资源量进行计费,计费单位为OCU。
可观测资源额度OCU(Observability Capacity Unit)是阿里云云原生可观测推出的新版计费单位,可根据每小时资源使用情况自动统计OCU用量,中国站公共云OCU的定价为0.15元/个。
日志服务计算型功能收费计划逐步通过OCU进行计量,以用户实际消耗的计算资源作为计量的度量维度。一个OCU的性能约等于0.5 Core CPU、2 GB内存、3000 IOPS,在计算OCU的总数时,会按照消耗的CPU核心数、内存大小和IOPS三个维度分别计算三个OCU数量,然后取三个OCU数量的最大值作为OCU的最终值,用于计费。
假设您的计算作业消耗了1 Core CPU,2GB内存,3000 IOPS,则这个作业消耗2个OCU。在一个计量周期(1小时)内,计算平均消耗的OCU可参考:数据写入处理器处理1GB数据,大约消耗1/3个OCU。数据加工(新版)处理1GB数据,大约消耗1/3个OCU。规则消费处理1GB数据,约消耗0.3个OCU。
OCU的计费信息,请参见按写入数据量计费模式计费项和按使用功能计费模式计费项。