文档

作业投递

更新时间:

云原生数据仓库 AnalyticDB MySQL 版的作业投递功能支持将资源组中满足一定条件的查询作业(通常为资源消耗大、耗时久的大查询)投递至指定一资源组中,避免影响资源组中其他查询作业。本文介绍如何开启并使用作业投递功能。

前提条件

  • 集群的内核版本需为3.1.8.4及以上版本。

    说明
    • 查看企业版基础版湖仓版集群的内核版本,请执行SELECT adb_version();。如需升级内核版本,请联系技术支持。

    • 查看和升级数仓版集群的内核版本,请参见查看和升级版本

  • 数仓版弹性模式集群还需满足以下条件:

    • 已创建至少两个资源组。具体操作,请参见新建资源组

    • 计算资源为32核128 GB及以上规格。

注意事项

  • 引擎为Spark的Interactive型资源组不支持配置作业投递规则,也不能将其他作业投递到这个资源组。

  • 企业版基础版集群的默认资源组user_default不支持配置作业投递规则,但可以将引擎为XIHE的Interactive型资源组中的作业投递至user_default资源组中运行。

  • Job型资源组不支持配置作业投递规则,但可以将引擎为XIHE的Interactive型资源组中的作业投递至Job型资源组中运行。

  • 满足条件的查询作业被投递至指定资源组时,查询作业需在指定资源组中重新执行,会消耗该资源组的计算资源,查询的响应时间也会变长,进而影响该资源组的查询稳定性,建议不要将查询作业投递至运行核心业务的资源组。

应用场景

当集群中存在较多资源组时,您可以对不同的负载进行分配。通常资源消耗大且耗时久的查询和消耗小速度快的查询会被分配到不同资源组中执行,这种分配并不完全准确,部分被认为消耗小、速度快的查询也可能出现资源消耗大、耗时久的异常查询,此时可通过作业投递功能,将满足条件的异常查询投递至指定资源组执行,避免影响资源组的其他查询作业。

操作步骤

配置作业投递规则有以下两种方法:

  • 云原生数据仓库AnalyticDB MySQL控制台配置:控制台操作简单,可以快速地配置作业投递规则

  • Workload Manager命令配置:Workload Manager命令可以更加灵活地配置作业投递规则,以满足定制化、更高级的需求。用法请参见WLM

下文以云原生数据仓库AnalyticDB MySQL控制台配置为例,介绍配置作业投递规则的方法。

企业版、基础版及湖仓版

  1. 登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在企业版、基础版或湖仓版页签下,单击目标集群ID。

  2. 在左侧导航栏,单击集群管理>资源管理,单击资源组管理页签。

  3. 配置作业投递规则。

    • 单击资源组列表右上角的新增资源组,在创建资源组时配置作业投递规则。

    • 单击目标资源组操作列的修改,为已有的资源组配置作业投递规则。

    作业投递规则配置参数:

    参数名称

    说明

    投递目标资源组

    目标资源组名称。

    查询执行时间阈值

    查询作业执行的时间,默认值为空单位为s。

    说明

    新建资源组的更多参数,请参见新建Interactive型资源组

  4. 单击确定

  5. (可选)管理作业投递规则,包括以下操作:

    • 修改作业投递规则:在修改资源组面板中修改已配置的参数。

    • 删除作业投递规则:在修改资源组面板中,单击投递目标资源组中指定资源组右侧的image按钮,删除资源组,作业投递规则失效。

数仓版

  1. 登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在数仓版页签,单击目标集群ID。

  2. 在左侧导航栏单击工作负载管理

  3. 单击作业投递,查看作业投递的规则。

  4. 在右上角资源组下拉列表中,选择资源组。

  5. 在右上角单击配置作业投递规则,在弹出的配置作业投递规则面板中配置如下参数:

    参数

    参数说明

    示例值

    查询内存使用峰值的阈值

    查询作业消耗的计算资源,默认值为null,单位为MB。

    24

    查询执行时间的阈值

    查询作业执行的时间,默认值为null,单位为ms。

    24

    查询是否因为内存不足失败的结果

    是否因内存不足而导致查询作业失败,默认值为

    投递目标资源组

    目标资源组名称。

    test

    重要

    查询作业满足作业投递规则中的任意一个条件,就会被投递至指定资源组执行。

  6. 单击确认

  7. (可选)管理作业投递规则,包括以下操作:

    • 修改作业投递规则:在配置作业投递规则面板中修改已配置的参数。

    • 删除作业投递规则:在配置作业投递规则面板中删除查询内存使用峰值的阈值和查询执行时间的阈值,并将查询是否因为内存不足失败的结果设置为否。作业投递规则失效。

  8. 作业投递查询数量区域,可以查看成功投递至另一资源组的作业数量。