定时SQL功能用于定时分析数据、存储聚合数据、投影与过滤数据。日志服务支持源Logstore中的数据通过定时SQL处理后存储到目标MetricStore中。

前提条件

  • 已采集数据到源Logstore。具体操作，请参见数据采集。
  • 已配置源Logstore的索引。具体操作，请参见创建索引。
  • 已创建目标MetricStore。具体操作，请参见创建MetricStore。
重要 本文中所涉及的Logstore为Standard Logstore。更多信息，请参见管理Logstore。

操作步骤

重要 目前，定时SQL功能在公测阶段，仅收取SQL独享版计算资源消耗费用。费用说明请参见计费项。
  1. 登录日志服务控制台。
  2. 在Project列表区域，单击目标Project。
  3. 在日志存储 > 日志库页签中，单击目标Logstore。
  4. 输入查询和分析语句，然后单击15分钟（相对），设置查询和分析的时间范围。

    更多信息，请参见查询和分析。

    说明 本步骤为定时SQL任务的预览操作，用于验证您所使用的查询和分析语句是否正确，执行结果是否有数据。
  5. 在统计图表页签中，单击另存为定时SQL。
    创建
  6. 创建定时SQL任务。
    1. 在计算配置向导中，完成如下配置，然后单击下一步。
      参数描述
      任务名定时SQL任务的名称。
      任务描述定时SQL任务的描述。
      资源池日志服务提供增强型资源池用于数据分析。

      增强型资源池复用SQL独享版的计算能力，提供足够的分析并发数，与您在控制台上的SQL分析操作进行资源隔离。增强型资源池根据SQL分析操作所消耗的CPU时间收取费用。更多信息，请参见开启SQL独享版。

      写入模式选择日志库导入时序库，即表示源Logstore中的数据通过定时SQL处理后将存储到目标MetricStore中。
      SQL代码显示您在步骤4中输入的查询和分析语句。此处的预览操作与步骤4中的操作一致，用于验证您所使用的查询和分析语句是否正确，执行结果是否有数据。

      SQL任务运行时，日志服务将执行该查询和分析语句分析数据。

      SQL配置
      指标列日志服务会根据您输入的查询和分析语句聚合数据，您可以选择查询和分析结果中列值为数值类型的一列或多列作为指标列。更多信息，请参见时序数据（Metric）。
      Labels日志服务会根据您输入的查询和分析语句聚合数据，您可以选择查询和分析结果中的一列或多列作为Label数据。更多信息，请参见时序数据（Metric）。
      Rehash打开Rehash开关后，您可以配置哈希列，用于将同一列值的数据写入到一个Shard中，增强数据局部性，提升查询效率。

      哈希列的取值取决于查询和分析结果。您可以选择查询和分析结果中的一列或多列作为哈希列。例如您配置哈希列为status，则status字段值相同的数据将被写入到同一个Shard中。

      时间列
      • 如果您选择查询和分析结果中的时间列（列值为Unixtime时间戳，例如atime:1627025331），则系统将以该时间列作为时序数据的时间。
      • 如果您选择空，则系统将以查询和分析时间范围中的开始时间作为时序数据的时间。

      更多信息，请参见时序数据（Metric）。

      附加Labels添加静态标签，键值对形式，可用于标识指标的相关属性。

      例如配置label_key为app，配置label_value为ingress-nginx。

      源Project/Logstore显示数据源所在的Project、Logstore。
      目标
      目标Region目标Project所在地域。
      目标Project用于存储SQL分析结果的目标Project名称。
      目标库用于存储SQL分析结果的目标MetricStore名称。
      写目标授权您可以通过如下方式授予定时SQL任务写数据到目标MetricStore的权限。
      • 默认角色：授权定时SQL任务使用阿里云系统角色AliyunLogETLRole将运行结果写入目标MetricStore。
        重要 仅在首次配置时需要操作，且需要由目标Project所属的阿里云账号完成。
      • 自定义角色：授权定时SQL任务使用自定义角色将运行结果写入目标MetricStore。
        您需先授予自定义角色写数据到目标MetricStore的权限，然后在角色ARN中输入您自定义角色的ARN。详细说明如下：
      执行SQL授权您可以通过如下方式授予定时SQL任务读取源Logstore数据以及在当前Project下执行SQL分析操作的权限。
      • 默认角色：授权定时SQL任务使用阿里云系统角色AliyunLogETLRole执行对应操作。
        重要 仅在首次配置时需要操作，且需要由目标Project所属的阿里云账号完成。
      • 自定义角色：授权定时SQL任务使用自定义角色执行对应操作。

        您需先授予自定义角色相关权限，然后在角色ARN中输入您自定义角色的ARN。更多信息，请参见步骤一：授予RAM角色分析源Logstore的权限。

    2. 在调度配置向导中，完成如下配置，然后单击确定。
      参数描述
      调度间隔调度定时SQL任务的频率，每调度一次定时SQL任务产生一个执行实例。调度间隔决定每个执行实例的调度时间。
      • 每小时：每小时调度一次定时SQL任务。
      • 每天：在每天的某个固定时间点调度一次定时SQL任务。
      • 每周：在周几的某个固定时间点调度一次定时SQL任务。
      • 固定间隔：按照固定间隔调度定时SQL任务。
      • Cron：通过Cron表达式指定时间间隔，按照指定的时间间隔调度定时SQL任务。

        Cron表达式的最小精度为分钟，24小时制，例如0 0/1 * * *表示从00:00开始，每隔1小时运行一次。

        当您需要配置时区时，需选择Cron模式。常见的时区列表请参见时区列表。

      调度时间范围调度的时间范围，具体说明如下：
      • 某时间开始：指定第一个实例被调度的开始时间。
      • 特定时间范围：指定实例被调度的起止时间，即定时SQL任务仅在该时间范围内可被执行。
      重要 实例的调度时间必须在该范围内，超出该范围时，定时SQL任务不再产生新实例。
      SQL时间窗口定时SQL任务运行时，仅分析该时间范围内的日志。时间窗口与实例调度时间共同作用生效。该时间范围不能大于调度间隔的5倍且不能超过1天。更多信息，请参见时间表达式语法。

      例如，调度间隔为固定间隔10分钟，起始时间为2021-04-01 00:00:00，延迟执行为30秒，SQL时间窗口为[@m-10m,@m)，则SQL任务运行时，在00:00:30时刻生成第一个执行实例，分析的是[23:50:00~00:00:00)期间的日志。更多信息，请参见调度与执行场景。

      SQL超时执行SQL分析操作失败时自动重试的阈值。当重试时间超过指定的最大时间或者重试次数超过最大次数时，该执行实例结束，状态为失败。您可以根据失败原因，手动重试该实例。具体操作，请参见重试定时SQL任务实例。
      延迟执行调度时间点往后延迟执行的时间。取整范围：0~120，单位：秒。

      当数据写入MetricStore存在延迟等情况时，可通过延迟执行来保证数据的完整性。

SDK示例

通过Java SDK创建定时SQL任务