调试SPL规则

在创建数据加工(新版)的过程中,您可以对输入的SPL语句进行调试,本文主要介绍数据加工(新版)调试SPL的步骤。

使用限制

数据加工(新版)预览功能使用中,测试数据量限制为:单次预览请求最多可传入100条测试数据,大小不超过1MB。

数据格式

您在使用日志服务数据加工(新版)调试SPL的功能时,可自定义输入的测试数据,测试数据格式为JSON Array,其中每一个元素为JSON Object,表示一条测试数据。

参考如下样例,表示包含2条测试数据,其中字段说明:

  • __time____time_ns_part__表示日志时间的字段,SPL处理过程中,识别数据类型为BIGINT,测试数据JSON中须填写INT数值

  • 除以上日志时间以外的其他字段,SPL处理过程中,识别数据类型为VARCHAR,测试数据JSON中需要填写字符串。

[
  {
    "__time__": 1715226986,
    "__time_ns_part__": 123456,
    "__topic__": "topic-0",
    "__source__": "127.0.0.1",
    "__tag__:file": "/tmp/test.log",
    "field-0": "value-0",
    "field-1": "value-1",
    "field-2": "value-2"
  },
  {
    "__time__": 1715226987,
    "__time_ns_part__": 654321,
    "__topic__": "topic-1",
    "__source__": "192.268.0.0",
    "__tag__:file": "/tmp/test.log.1",
    "field-10": "value-10",
    "field-11": "value-11",
    "field-12": "value-12"
  }
]

步骤一:添加测试数据

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 在左侧导航栏中,选择任务管理 > 数据加工

  4. 在加工任务列表中,单击目标加工任务。

  5. 在数据加工(新版)配置页面中,单击原始日志,浏览当前Logstore中存储的原始数据,选择需要用于测试的数据条目,然后单击该数据条目对应的加入测试数据

    image

  6. 选择测试数据标签页,可以查看已经添加的测试数据,数据格式参考上文所述。可以编辑已添加的测试数据,或添加自定义数据条目,以便于调试SPL规则。

    image

步骤二:调试SPL

调试菜单请参见调试菜单

  1. 编写SPL规则。

  2. 在需要调试的行添加断点。

    1. 单击调试按钮,开启调试模式。

      如下图。黄色背景行表示当前暂停的位置(语句未执行)。

      image

    2. 加工结果页签中查看运行结果是否满足需求。

      image

      • 如果符合需求,继续调试运行。

      • 否则,单击结束调试,修改SPL规则,重新开始调试过程。

  3. 单击下个断点或者下一行,往下执行,并检查执行结果,直至完整调试。

调试菜单

数据加工(新版)SPL调试按钮,菜单按钮定义如下:

image.png

  1. 运行按钮:完整运行编辑框中的SPL规则。

  2. 调试按钮:开启调试模式,并执行运行至第一个断点,开启后可以执行按行、或者断点调试。

  3. 下个断点按钮:调试运行至下一个断点。

  4. 下一行按钮:调试运行至下一行。

  5. 停止调试按钮:停止当前调试过程。

代码编辑框的行号前的空白区域为断点区域,在断点区域单击鼠标,即可在单击点对应的行添加调试断点,效果如下图。单击已添加的调试断点,即可将其移除。

image.png