文档

从MetricStore到MetricStore

更新时间:

定时SQL功能用于定时分析数据、存储聚合数据、投影与过滤数据。日志服务支持源MetricStore中的数据通过定时SQL处理后存储到目标MetricStore中。

前提条件

操作步骤

重要

目前,定时SQL功能在公测阶段,仅收取SQL独享版计算资源消耗费用。费用说明请参见按使用功能计费模式计费项

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 时序存储 > 时序库页签中,单击目标MetricStore。

  4. 执行查询和分析操作。

    1. 在页面右上角,单击15分钟(相对),设置查询和分析的时间范围。

    2. 直接输入PromQL语句,单击立即执行

      具体操作,请参见查询和分析时序数据

    说明

    本步骤为定时SQL任务的预览操作,用于验证您所使用的查询和分析语句是否正确,执行结果是否有数据。

  5. 选择更多操作 > 另存为定时SQL

    创建任务

  6. 创建定时SQL任务。

    1. 计算配置向导中,完成如下配置,然后单击下一步

      参数

      描述

      任务名称

      SLS任务的唯一名称。

      显示名称

      定时SQL任务的显示名称。

      任务描述

      定时SQL任务的描述。

      资源池

      日志服务提供增强型资源池用于数据分析。

      增强型资源池复用SQL独享版的计算能力,提供足够的分析并发数,与您在控制台上的SQL分析操作进行资源隔离。增强型资源池根据SQL分析操作所消耗的CPU时间收取费用。更多信息,请参见开启SQL独享版

      写入模式

      选择时序库导入时序库,即表示源MetricStore中的数据通过定时SQL处理后将存储到目标MetricStore中。

      SQL代码

      显示您在步骤4中输入的查询和分析语句。此处的预览操作与步骤4中的操作一致,用于验证您所使用的查询和分析语句是否正确,执行结果是否有数据。

      SQL任务运行时,日志服务将执行该查询和分析语句分析数据。

      重要

      导入MetricStore的推荐行为是每次导入当前时间点的指标值,因此推荐使用promql_query函数。如果使用promql_query_range函数,会导致大量数据膨胀。

      SQL配置

      结果指标名

      如果您要修改您所分析的指标名,您可以输入修改后的指标名。更多信息,请参见时序数据(Metric)

      重要

      建议分析的对象为单个指标时,修改指标名,实现重命名。

      如果分析对象为多个指标,则修改指标名后,会将所有的指标名修改为同一个相同的指标名。

      Rehash

      打开Rehash开关后,您可以配置哈希列,用于将同一Label值的数据写入到一个Shard中,增强数据局部性,提升查询效率。

      哈希列的取值取决于时序数据已有的Label信息。例如时序数据已有的Label信息为{"alert_id":"alert-1608815762-545495","alert_name":"告警恢复关闭","status":"inactive"},则哈希列的可选值为alert_idalert_namestatus。如果您配置哈希列status,则status字段值相同的数据将被写入到同一个Shard中。

      附加Labels

      添加静态标签,键值对形式,可用于标识指标的相关属性。

      例如配置label_keyapp,配置label_valueingress-nginx

      目标

      目标Region

      目标Project所在地域。

      目标Project

      用于存储SQL分析结果的目标Project名称。

      目标库

      用于存储SQL分析结果的目标MetricStore名称。

      写目标授权

      您可以通过如下方式授予定时SQL任务写数据到目标MetricStore的权限。

      • 默认角色:授权定时SQL任务使用阿里云系统角色AliyunLogETLRole将运行结果写入目标MetricStore。

        重要

        仅在首次配置时需要操作,且需要由目标Project所属的阿里云账号完成。

      • 自定义角色:授权定时SQL任务使用自定义角色将运行结果写入目标MetricStore。

        您需先授予自定义角色写数据到目标MetricStore的权限,然后在角色ARN中输入您自定义角色的ARN。详细说明如下:

      执行SQL授权

      您可以通过如下方式授予定时SQL任务读取源MetricStore数据以及在当前Project下执行SQL分析操作的权限。

      • 默认角色:授权定时SQL任务使用阿里云系统角色AliyunLogETLRole执行对应操作。

        重要

        仅在首次配置时需要操作,且需要由目标Project所属的阿里云账号完成。

      • 自定义角色:授权定时SQL任务使用自定义角色执行对应操作。

        您需先授予自定义角色相关权限,然后在角色ARN中输入您自定义角色的ARN。更多信息,请参见步骤一:授予账号A下的RAM角色a分析源Logstore的权限

    2. 调度配置向导中,完成如下配置,然后单击确定

      参数

      描述

      调度间隔

      调度定时SQL任务的频率,每调度一次定时SQL任务产生一个执行实例。调度间隔决定每个执行实例的调度时间。

      • 每小时:每小时调度一次定时SQL任务。

      • 每天:在每天的某个固定时间点调度一次定时SQL任务。

      • 每周:在周几的某个固定时间点调度一次定时SQL任务。

      • 固定间隔:按照固定间隔调度定时SQL任务。

      • Cron:通过Cron表达式指定时间间隔,按照指定的时间间隔调度定时SQL任务。

        Cron表达式的最小精度为分钟,24小时制,例如0 0/1 * * *表示从00:00开始,每隔1小时运行一次。

        当您需要配置时区时,需选择Cron模式。常见的时区列表请参见时区列表

      调度时间范围

      调度的时间范围,具体说明如下:

      • 某时间开始:指定第一个实例被调度的开始时间。

      • 特定时间范围:指定实例被调度的起止时间,即定时SQL任务仅在该时间范围内可被执行。

      重要

      实例的调度时间必须在该范围内,超出该范围时,定时SQL任务不再产生新实例。

      SQL时间窗口

      定时SQL任务运行时,仅分析该时间范围内的日志。时间窗口与实例调度时间共同作用生效。该时间范围不能大于调度间隔的5倍且不能超过1天。更多信息,请参见时间表达式语法

      例如,调度间隔固定间隔10分钟起始时间2021-04-01 00:00:00延迟执行30秒SQL时间窗口[@m-10m,@m),则SQL任务运行时,在00:00:30时刻生成第一个执行实例,分析的是[23:50:00~00:00:00)期间的日志。更多信息,请参见调度与执行场景

      SQL超时

      执行SQL分析操作失败时自动重试的阈值。当重试时间超过指定的最大时间或者重试次数超过最大次数时,该执行实例结束,状态为失败。您可以根据失败原因,手动重试该实例。具体操作,请参见重试定时SQL任务实例

      延迟执行

      调度时间点往后延迟执行的时间。取整范围:0~120,单位:秒。

      当数据写入MetricStore存在延迟等情况时,可通过延迟执行来保证数据的完整性。

      创建定时SQL任务后,您可以到目标MetricStore中查看SQL执行结果数据。

SDK示例

使用Java SDK创建定时SQL任务