Auto-Scaling弹性策略

更新时间:
复制 MD 格式

Auto-Scaling 弹性能力是 Serverless 模式下的核心资源管理能力,通过资源评估和动态扩缩机制,自动调节集群资源以匹配业务负载变化。该功能针对大小查询混合执行场景,实现了资源隔离、弹性扩缩容和资源利用率优化的综合目标,确保系统在保证查询性能的同时最大化资源利用效率。

背景信息

云原生数据仓库生产环境面临的业务负载日益复杂,用户场景通常包含高频即时的小查询与大量资源消耗型的大查询混合运行的情况。由于不同类型的查询共享底层计算资源,这种混合负载模式对资源隔离、弹性响应及利用率提出了更高要求。

传统的弹性模式在面对此类复杂业务场景时,局限性逐渐暴露:

  • 分时弹性:依赖人工预设计划,无法准确预测业务高峰,预测不当时会导致资源浪费或性能下降。

  • Job弹性模型:

    • 缺乏资源共享机制:每个查询独占资源,计算资源无法在查询间共享,导致整体资源利用率低下。

    • 缺失基线预留能力:缺乏常驻的基础资源池(Baseline),每个查询均需经历完整冷启动过程,影响查询效率。

    • 小查询响应滞后:对于秒级要求的小查询,频繁的资源冷启动引入了较高的延迟。

  • Multi-Cluster弹性模型:

    • Cluster 隔离导致大任务受限:受限于“单查询绑定单 Cluster”的物理隔离,大型任务无法跨 Cluster 执行。即便总资源充裕,复杂查询仍被锁定在单 Cluster 规格上限,导致执行缓慢甚至超时。

    • 评估缺失导致配置依赖经验:系统缺乏对查询的资源预估,用户需人工权衡“单 Cluster 规格”与“资源组总上限”,运维门槛极高。

以上的几种弹性模式主要关注资源层面,缺乏对查询类型的精细化隔离和管理,并且无法有效应对混合复杂负载。为此,引入了 Auto-Scaling 弹性策略,旨在解决混合负载下的核心痛点。下表详细对比了两种策略在核心维度上的差异:

核心维度

传统弹性模式

Auto-Scaling 弹性策略

负载隔离

  • Job 弹性:查询独占资源,利用率低。

  • 其他模式:缺乏精细化隔离,大小查询混跑易竞争。

查询级别的资源 Quota 隔离,有效规避资源争抢,保障关键查询的稳定性,减少性能波动。

资源利用率

  • Job 弹性:资源利用率低。

  • Multi-Cluster:缺乏查询资源评估,每个查询用一个 Cluster 来执行,缺乏节点级负载整合,资源浪费严重。

通过资源评估和节点级别负载整合优化,按需分配与释放,显著提升资源利用率,有效降低计算成本。

调度机制

缺乏智能识别,无法区分查询类型进行差异化处理,主要关注资源层面。

智能差异化调度,自动识别查询类型:

  • 小查询利用现有资源快速执行。

  • 大查询动态申请独立资源,避免查询干扰。

使用设置

Auto-Scaling 弹性资源组通过最小资源与最大资源两个核心参数,实现资源的按需分配与成本控制。

参数

说明

业务价值

最小资源(Min ACU)

预留的基础资源容量,始终保持在线。

保障基础查询性能,避免冷启动延迟。

最大资源(Max ACU)

弹性扩缩容的资源上限,系统可动态使用的最大容量。

控制成本边界,防止资源无限扩张。

配置建议

为确保系统在保障高性能的同时实现成本最优,建议基于历史负载数据进行配置:

  • 最小资源(Min ACU):设定为历史平均负载的 80%~100%。覆盖绝大多数常态业务需求,消除因频繁弹性伸缩导致的性能抖动与冷启动延迟,确保核心业务响应的稳定性。

  • 最大资源(Max ACU):设定为历史最高峰值的 120%~150%。构建应对突发流量洪峰的安全水位,规避因资源耗尽引发的任务排队或服务不可用风险。

注意事项

  • Min ACU:对应的预留资源无论是否使用均会产生费用,请根据业务基线合理设置。

  • Max ACU:上限后不再自动扩容。

  • 动态调整:支持随时调整 Min ACU 和 Max ACU 配置,变更通常在 10 分钟内生效。

  • 弹性效率:弹性节点扩容效率为 5~60 秒。

功能原理

资源评估过程会根据当前系统的负载、查询排队情况等信息,评估当前系统是否需要扩缩容,以及需要扩缩容多少节点。

扩容策略

系统定期触发资源评估,通过区分小查询与大查询的业务特征,执行差异化的扩容策略:

  • 小查询:基于 CPU 利用率和查询排队情况,并结合稳定窗口机制,避免指标波动导致的频繁扩容。

  • 大查询:基于资源评估按需即时扩容。

系统综合两类请求进行统一调度,在保障小查询执行优先级的同时,最大化资源利用率,减少不必要的资源开销。

响应式扩容策略

针对小查询负载变化,采用基于物理资源水位和查询排队情况的综合动态评估机制。系统根据当前物理资源水位与目标阈值进行决策,结合当前查询排队情况,综合计算期望扩容的节点数量。当实际节点数低于期望值时,触发扩容请求,确保高频小查询获得充足的计算资源,保障低延迟响应。

On-Demand 策略

针对大查询负载变化,采用按需即时扩容机制。系统监测大查询的资源申请与排队情况,在可用节点不足时,直接响应业务需求,立即触发资源扩容,确保复杂分析任务能够快速获得独立资源,避免阻塞。

缩容策略

系统在业务低峰期自动执行资源缩容。通过实时监测所有运行中的节点信息,分析各节点的资源利用率、运行时长、稳定性等指标,确定可安全缩容的节点,在满足可用性条件的基础上释放闲置资源、降低计算成本。缩容决策基于负载趋势分析,确保不会影响正在运行的查询任务,同时避免频繁扩缩容导致的性能抖动。

重要

缩容仅释放弹性节点,预留资源(Min ACU)不会被自动缩容。

默认参数

扩容参数

扩容阈值:用于触发扩容的综合物理资源水位阈值,系统默认值为 85%。当系统检测到集群物理资源水位持续超过该阈值时,将启动扩容评估流程。

缩容参数

  • 缩容缓冲时间:节点进入缩容候选状态后的观察时长,确保负载已稳定下降,默认值 30 秒。

  • 缩容阈值:触发缩容的目标平均物理资源水位,默认为 65%。