日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。

数据加工的加工过程可以分为三个大的步骤,首先是通过协同消费组对源日志库的日志数据进行读取消费,其次是对读取的每一条日志进行加工处理,最后是将加工后的日志数据输出到指定的目标日志库中。您可以在目标日志库中查看加工后的日志数据。

数据加工功能支持的区域:仅华北1(青岛)区域不支持。

适用场景

  • 数据规整(一对一):从一个Logstore中读取日志数据,进行加工后再输出到另一个Logstore中。
    对数据进行规范化、富化、重建索引等:
    数据规整
  • 数据分派(一对多):从一个Logstore中读取日志数据,进行加工后再分别输出到多个不同的Logstore中。
    数据分派
  • 多源汇集(多对一):分别从多个不同Logstore中读取日志数据,进行加工后再输出到一个指定的Logstore中。
    多源汇集
  • 常规数据加工场景。
    全面覆盖数据加工的典型模式,包括过滤、分裂、转换、富化等。
    数据加工
    日志服务DSL(Domain Specific Language)提供了200多个内置函数以及400多个正则表达式模式,同时提供灵活的自定义函数(UDF)的能力,满足各种场景:
    • 过滤(filter):将指定的日志过滤掉。
    • 分裂(split):将一条日志分裂成多条。
    • 转换(transform):字段操作、内容转换等。
    • 富化(enrich):关联外部资源,丰富字段信息等。

优势

  • 超过200个内置函数,文本处理函数、文本搜素函数、富化函数,超过400个Grok模式。
  • DSL自由编排:过滤、抽取、分裂、转化、富化、分发等。
  • 实时处理,秒级数据可见,计算水平扩展 ,按量弹性伸缩 ,高吞吐能力。
  • 面向日志分析场景,提供开箱即用的函数。
  • 提供实时仪表盘、概览与统计曲线、异常日志和告警集成功能。
  • 全托管、免运维、与阿里云大数据产品、开源生态集成。

费用标准

读取源Logstore与写入目标Logstore按照日志服务的收费标准正常收费,详情请参见计费方式加工服务本身消耗的机器与网络资源目前免费。