按时间伸缩规则配置
如果集群计算量在一定的周期内存在明显的波峰和波谷,则您可以设置在每天、每周或每月的固定时间段扩展一定量的Task节点来补充计算能力,这样在保证作业完成的同时,也可以节省成本。
配置伸缩实例数
最大节点数:弹性伸缩的Task节点上限。一旦达到上限,即使满足弹性伸缩的规则,也不会继续进行弹性伸缩的动作。目前可设置的弹性伸缩最大上限为500。
最小节点数:弹性伸缩的Task节点下限。如果弹性伸缩规则中设置的增加或减少Task节点数小于此处的最小节点数,那么在首次执行时,集群会以最小节点数为准进行伸缩。
例如,设置弹性扩容规则为每天零点动态添加1个节点,但最小节点数为3。那么系统在第一天的零点时会添加3个节点,以满足最小节点数的要求。
配置伸缩规则
在Databricks数据洞察中开启弹性伸缩时,如果选择按时间配置伸缩规则,则根据以下说明配置相关参数即可
伸缩规则分为扩容规则和缩容规则。集群关闭弹性伸缩功能后,所有规则会被清空,再次开启弹性伸缩功能时,需要重新配置伸缩规则。

规则名称:在同一个集群中,伸缩规则名称(包括扩容规则和缩容规则)不允许重复。
规则执行周期:
只执行一次:集群在指定的时间点执行一次弹性伸缩动作。
重复执行:您可以选择每天、每周或每月的某一特定时间点执行一次弹性伸缩动作。
重试过期时间:弹性伸缩在到达指定时间时可能由于各种原因不能执行,通过设置重试过期时间,系统会在该时间范围内每隔30秒尝试执行一次,直到在满足条件时执行伸缩。设置范围为0~21600秒。
假设在指定时间段需要进行弹性伸缩动作A,如果有其他弹性伸缩动作B正在执行或正处在冷却期,则动作A无法执行。在您设置的重试过期时间内,每隔30秒会重试一次,尝试执行A,一旦条件满足,集群会立刻执行弹性伸缩。
扩容或减少Task节点数:规则被触发时,集群每次增加或减少Task节点数量。
冷却时间:每次弹性伸缩动作执行完成,到可以再次进行弹性伸缩的时间间隔。在冷却时间内,不会发生弹性伸缩动作。
配置伸缩规格
弹性伸缩配置可以指定伸缩的节点的硬件规格。您只能在开启弹性伸缩功能时配置,保存后不能更改。如果特殊情况确实需要修改,可以关闭弹性伸缩功能后,再次开启。
选择vCPU和内存规格时,系统会根据您的选择自动匹配出满足条件的实例,并显示在备选实例列表中。您需要选中备选的实例,以便集群按照已选的实例规格进行伸缩。
为避免由于ECS库存不足造成的弹性伸缩失败,您最多可以选择3种ECS实例。
无论是选择高效云盘还是SSD云盘,数据盘最小设置为40GB。