文档

按时间伸缩规则配置

更新时间:
一键部署

如果集群计算量在一定的周期内存在明显的波峰和波谷,则您可以设置在每天、每周或每月的固定时间段扩展一定量的Task节点来补充计算能力,这样在保证作业完成的同时,也可以节省成本。

配置伸缩实例数

  • 最大节点数:弹性伸缩的Task节点上限。一旦达到上限,即使满足弹性伸缩的规则,也不会继续进行弹性伸缩的动作。目前可设置的弹性伸缩最大上限为500。

  • 最小节点数:弹性伸缩的Task节点下限。如果弹性伸缩规则中设置的增加或减少Task节点数小于此处的最小节点数,那么在首次执行时,集群会以最小节点数为准进行伸缩。

    例如,设置弹性扩容规则为每天零点动态添加1个节点,但最小节点数为3。那么系统在第一天的零点时会添加3个节点,以满足最小节点数的要求。

配置伸缩规则

在Databricks数据洞察中开启弹性伸缩时,如果选择按时间配置伸缩规则,则根据以下说明配置相关参数即可

伸缩规则分为扩容规则和缩容规则。集群关闭弹性伸缩功能后,所有规则会被清空,再次开启弹性伸缩功能时,需要重新配置伸缩规则。

data
  • 规则名称:在同一个集群中,伸缩规则名称(包括扩容规则和缩容规则)不允许重复。

  • 规则执行周期:

    • 只执行一次:集群在指定的时间点执行一次弹性伸缩动作。

    • 重复执行:您可以选择每天、每周或每月的某一特定时间点执行一次弹性伸缩动作。

  • 重试过期时间:弹性伸缩在到达指定时间时可能由于各种原因不能执行,通过设置重试过期时间,系统会在该时间范围内每隔30秒尝试执行一次,直到在满足条件时执行伸缩。设置范围为0~21600秒。

    假设在指定时间段需要进行弹性伸缩动作A,如果有其他弹性伸缩动作B正在执行或正处在冷却期,则动作A无法执行。在您设置的重试过期时间内,每隔30秒会重试一次,尝试执行A,一旦条件满足,集群会立刻执行弹性伸缩。

  • 扩容或减少Task节点数:规则被触发时,集群每次增加或减少Task节点数量。

  • 冷却时间:每次弹性伸缩动作执行完成,到可以再次进行弹性伸缩的时间间隔。在冷却时间内,不会发生弹性伸缩动作。

配置伸缩规格

弹性伸缩配置可以指定伸缩的节点的硬件规格。您只能在开启弹性伸缩功能时配置,保存后不能更改。如果特殊情况确实需要修改,可以关闭弹性伸缩功能后,再次开启。

  • 选择vCPU和内存规格时,系统会根据您的选择自动匹配出满足条件的实例,并显示在备选实例列表中。您需要选中备选的实例,以便集群按照已选的实例规格进行伸缩。

  • 为避免由于ECS库存不足造成的弹性伸缩失败,您最多可以选择3种ECS实例。

  • 无论是选择高效云盘还是SSD云盘,数据盘最小设置为40GB。

  • 本页导读 (0)
文档反馈