开启并配置弹性伸缩

当您的业务量需求不断波动时,建议您开启弹性伸缩功能并配置相应的伸缩规则,以使Databricks数据洞察可按业务量波动来增加和减少Task节点。

操作步骤

  1. 登录阿里云Databricks控制台

  2. 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组。

  3. 单击上方的集群管理页签。

  4. 集群管理页面,单击相应集群所在行的详情

  5. 在详情页上方,单击弹性伸缩

  6. 单击新建弹性伸缩机器组-->填写机器组名称-->点击创建机器组

7. 在弹性伸缩配页面,配置伸缩策略。

关键配置项说明如下:

配置项

说明

规定时间伸缩

按时间触发计算资源的扩容和缩容。根据业务需求,如果能够明确需要按照一定的时间周期来伸缩计算资源,建议您选择此项。详细配置说明请参见按时间伸缩

规定负载伸缩

按集群负载触发计算资源的扩容和缩容。根据业务需求,如果需要对计算资源进行伸缩的时间段较多,但需要根据YARN的特定指标伸缩计算资源,建议您选择此项。详细配置说明请参见按负载伸缩

最大实例数

弹性伸缩组的Task节点上限。一旦达到上限,即使满足弹性伸缩的规则,也不会继续执行弹性伸缩。最大实例数的上限为500。

最小实例数

弹性伸缩的Task节点下限。如果弹性伸缩规则中设置的增加或减少Task节点数小于此处设置的最小实例数,则在首次执行时,集群会以最小节点数为准进行伸缩。

例如,您设置弹性扩容规则为每天零点动态添加1个节点,最小节点数为3,则系统在第一天的零点时会添加3个节点,以满足最小节点数的要求。

优雅下线

您可以设置超时时间,下线YARN上作业所在的Task节点。如果Task节点没有运行YARN上的作业或者作业运行超出您设置的超时时间,则下线Task节点。超时时间最大值为3600秒。

说明

开启优雅下线时,请联系DDI工作人员进行集群配置支持。

8. 完成伸缩策略配置后,单击下方的保存

9. 单击开启弹性伸缩

弹性伸缩配置完成后,后续触发时,您可在弹性伸缩记录中查看弹性伸缩的历史执行记录以及每次执行的详细结果,详情请参见查看弹性伸缩记录