日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。

日志服务提供的数据加工功能通过如下三个步骤完成对日志数据的加工处理:
  1. 通过协同消费组对源日志库的日志数据进行读取消费。
  2. 通过编写加工规则对读取的每一条日志进行加工处理。
  3. 通过设置目标Logstore将加工后的日志数据输出到指定的目标日志库中。
数据加工完成后,您可以在目标Logstore中查看加工后的日志数据。

数据加工功能支持的区域:支持除华北1(青岛)以外的所有区域。

适用场景

  • 数据规整(一对一):从一个Logstore中读取日志数据,进行加工后再输出到另一个Logstore中。
    对数据进行规范化、富化、重建索引等:数据规整
  • 数据分派(一对多):从一个Logstore中读取日志数据,进行加工后再分别输出到多个不同的Logstore中。数据分派
  • 多源汇集(多对一):分别从多个不同Logstore中读取日志数据,进行加工后再输出到一个指定的Logstore中。多源汇集
  • 常规数据加工场景。
    全面覆盖数据加工的典型模式,包括过滤、分裂、转换、富化等。数据加工
    日志服务DSL(Domain Specific Language)提供了200多个内置函数以及400多个正则表达式模式,同时提供灵活的自定义函数(UDF)的能力,满足各种场景:
    • 过滤(filter):将指定的日志过滤掉。
    • 分裂(split):将一条日志分裂成多条。
    • 转换(transform):字段操作、内容转换等。
    • 富化(enrich):关联外部资源,丰富字段信息等。

优势

  • 提供超过200个内置函数,包括文本处理函数、文本搜索函数、富化函数等。以及超过400个Grok模式。
  • DSL自由编排:包括过滤、抽取、分裂、转化、富化、分发等。
  • 实时处理,秒级数据可见,计算水平扩展 ,按量弹性伸缩 ,高吞吐能力。
  • 面向日志分析场景,提供开箱即用的函数。
  • 提供实时仪表盘、概览与统计曲线、异常日志和告警集成功能。
  • 全托管、免运维,与阿里云大数据产品、开源生态集成。

费用标准

  • 读取源Logstore与写入目标Logstore按照日志服务的收费标准正常收费,详情请参见计费方式加工服务本身消耗的机器与网络资源目前免费。
  • 您可以根据情况关闭源Logstore的索引,并设置较短的日志数据保存时间,以节省费用。更多费用优化方法请参见性能指南或者成本优化指南