集群容量规划

更新时间:
复制为 MD 格式

本文将介绍如何根据业务需求评估并规划流存储 Fluss 集群的资源规模。

资源评估

选择CU规格

Fluss 公有云采用标准化的计算单元(CU),内存配比固定为 1核:8GB。请依据业务规模与关联的 Flink 资源量选择规格。

CU规格

配置详情

适用场景

4CU

4核/32GB

入门/开发: 小规模测试或开发环境。

低吞吐生产: 数据流量较小的生产业务。

配套 Flink: 资源规模 < 200 CU。

8CU

8核/64GB

通用推荐: 兼顾性能与灵活性的标准规格。

中等规模生产: 承载主流业务流量。

配套 Flink: 资源规模在 200 CU ~ 1000 CU 之间。

16CU

16核/128GB

高性能/大存储: 极高吞吐或需要更大单机存储上限的场景。

超大规模生产: 核心关键业务链路。

配套 Flink: 资源规模 > 1000 CU。

计算 Tablet Server 数量

集群规模取决于总吞吐量需求。请使用以下公式估算所需的 CU 总数,进而推导节点数量:

关键指标说明:

  • 吞吐量单位: 建议统一转换为 行数/秒 (Rows/s) 或 数据量/秒 (MB/s)

  • 单 CU 性能基准:

    • 写入能力: 约 2.5万 ~ 3万 行/秒 (23 ~ 28 MB/s)。

      受数据复杂度和主键更新逻辑影响。
    • 读取能力: 约 2.8万 ~ 3万 行/秒 (26 ~ 28 MB/s)。

      受列数裁剪和查询过滤条件影响。
  • 冗余水位(推荐): 建议预留 20% ~ 30% 的资源余量,以确保集群在流量突发高峰时的稳定性。

计算示例:
若计算结果为 64 CU,且您选择了 8 CU 的规格,则需要部署 8 个 Tablet Server 节点。

本地存储规划

本地存储的消耗与表类型(日志表或主键表)密切相关。

  • 配置建议: 初始阶段建议使用默认配置。

  • 扩缩容规则: 支持根据业务增长单独扩容磁盘,或通过增加节点来横向扩展存储容量。

  • 重要限制: 磁盘支持扩容,但不支持缩容。 请在规划时避免过度预配。

典型场景配置参考

场景类型

写入吞吐

读取吞吐

表类型

列数

总 CU 需求

节点配置建议

低吞吐流式处理

25万 行/s

25万 行/s

日志表

20

12 CU

3 × 4 CU

中等吞吐实时分析

50万 行/s

70万 行/s

主键表

50

32 CU

4 × 8 CU

高吞吐实时数仓

220万 行/s

250万 行/s

主键表

100

128 CU

8 × 16 CU

超大规模流式处理

500万 行/s

500万 行/s

日志表

30

256 CU

16 × 16 CU

维度表查询服务

20万 行/s

30万 QPS

主键表

30

12 CU

3 × 4 CU

常见问题

Q:使用 "10个 8CU 节点" 和 "5个 16CU 节点" ,集群上都是80CU有什么区别?

A: 两者在计算总性能上基本一致,主要区别在于存储上限运维灵活性

  • 存储上限不同: 单个节点的本地磁盘通常有最大容量限制(例如 2TB)。16CU 节点的数量较少,会导致集群整体的磁盘总容量上限低于 8CU 节点集群。如果您的业务数据量巨大,更多的节点数量通常意味着更大的总存储空间。

  • 扩缩容粒度不同: 8CU 规格的粒度更细。在进行扩缩容操作时,8CU 节点允许您以更小的资源步长进行调整,资源调度和成本控制更加灵活。