加工历史数据

创建数据加工任务

1. 登录日志服务控制台。
2. 进入数据加工页面。
   1. 在Project列表区域，单击目标Project。
   2. 在日志存储 > 日志库页签中，单击目标Logstore。
   3. 在查询和分析页面，单击数据加工。
3. 在页面右上角，选择数据的时间范围。
   选择时间范围后，请确认原始日志页签中存在日志。
4. 在编辑框中，输入数据加工语句。
   加工语句的语法请参见数据加工语法。
5. 预览数据。
   1. 单击快速。
      日志服务支持快速预览和高级预览。更多信息，请参见预览调试概述。
   2. 单击预览数据。

      查看预览结果。

      • 如果加工语句错误或者权限配置错误，导致数据加工失败，请根据页面提示处理。
      • 如果确认数据加工结果无误，请执行步骤6。
6. 创建数据加工任务。
   具体操作，请参见创建数据加工任务。其中，您需要根据您要加工的数据时间，设置加工范围。

   选项	说明
   所有	从Logstore接收到第一条数据的时间点开始数据加工任务，直到加工任务被手动停止。
   某时间开始	指定数据加工任务的开始时间，从该时间点开始加工，直到加工任务被手动停止。
   特定时间范围	指定数据加工任务的起止时间，从指定的开始时间点开始加工，到指定的结束时间后加工任务自动停止。

查看加工结果

您可以在目标Logstore中查看对应的加工结果数据。如果目标Logstore无数据，您可以参考以下方案进行解决。

提高历史数据加工效率

当您的历史数据量较大，且同时需要对它们进行加工时，由于受限于单个数据加工任务的处理效率，往往很难满足实时性需求，可能会出现加工消费延迟大且不降低的现象。此时，您可以为历史数据创建一个或多个数据加工任务，另外对实时写入的数据，创建一个单独的加工任务。

例如您在2023-01-16要创建一个数据加工任务，加工从2023-01-01 00:00:00开始写入源Logstore的所有数据，则您可以将2023-01-01 00:00:00~2023-01-15 23:59:59期间的历史数据分成三份，并分别创建一个加工任务，然后为2023-01-16 00:00:00后实时写入的数据也创建一个加工任务，如下图所示。