管理写入处理器

日志在写入Logstore之前,写入处理器可以对数据进行预处理,例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理写入处理器。

创建写入处理器

  1. 登录日志服务控制台

  2. 进入数据处理器页面。

    1. 在Project列表区域,单击目标Project。

    2. 在左侧导航栏单击资源 > 数据处理器

  3. 写入处理器页签,单击创建。在创建处理器面板配置处理器名称SPL处理失败,配置完成后单击确定。参数说明如下。

    参数

    说明

    处理器名称

    写入处理器的名称。

    描述

    写入处理器的描述。

    SPL

    SPL语句。关于SPL语法,更多信息,请参见SPL语法

    处理失败

    SPL处理失败后的行为:

    • 保留原始数据

    • 丢弃原始数据

    说明
    • 这里处理失败仅指SPL执行失败,例如数据不合法导致算子执行异常。不包含SPL语法错误的场景。

    • 如果SPL语法配置错误导致解析失败,默认会保留原始数据。

删除或修改写入处理器

数据处理器 > 写入处理器页签,查看已创建的处理器列表,您可以单击修改或者删除对目标写入处理器进行管理。

说明
  • 如果写入处理器已与Logstore关联,修改配置后,新的设置将在1分钟内生效。此时,新产生的日志将在写入Logstore之前根据最新配置进行预处理。

  • 如果关联的写入处理器被删除,新产生的日志不会进行预处理,Logstore直接写入原始数据。

image

Logstore关联写入处理器

  1. 在目标Project页面,右侧导航栏单击image,将鼠标悬浮在目标Logstore上,单击修改

    image

  2. 在Logstore属性页面,单击右上角修改,在编辑状态下配置写入处理器,选择需要关联的写入处理器,然后单击右上角的保存

    说明

    关联写入处理器之后,会对新产生的日志生效,您需要等待1分钟左右。

    image

Logstore取消关联写入处理器

在Logstore属性页面,单击右上角修改,在编辑模式单击image清空已配置的写入处理器,然后单击右上角的保存

说明

Logstore取消关联写入处理器后,您需要等待1分钟左右,新产生的原始日志会直接写入到Logstore中。

image