本文将介绍如何根据业务需求评估并规划流存储 Fluss 集群的资源规模。
资源评估
选择CU规格
Fluss 公有云采用标准化的计算单元(CU),内存配比固定为 1核:8GB。请依据业务规模与关联的 Flink 资源量选择规格。
CU规格 | 配置详情 | 适用场景 |
4CU | 4核/32GB | 入门/开发: 小规模测试或开发环境。 低吞吐生产: 数据流量较小的生产业务。 配套 Flink: 资源规模 < 200 CU。 |
8CU | 8核/64GB | 通用推荐: 兼顾性能与灵活性的标准规格。 中等规模生产: 承载主流业务流量。 配套 Flink: 资源规模在 200 CU ~ 1000 CU 之间。 |
16CU | 16核/128GB | 高性能/大存储: 极高吞吐或需要更大单机存储上限的场景。 超大规模生产: 核心关键业务链路。 配套 Flink: 资源规模 > 1000 CU。 |
计算 Tablet Server 数量
集群规模取决于总吞吐量需求。请使用以下公式估算所需的 CU 总数,进而推导节点数量:
关键指标说明:
吞吐量单位: 建议统一转换为 行数/秒 (Rows/s) 或 数据量/秒 (MB/s)。
单 CU 性能基准:
写入能力: 约 2.5万 ~ 3万 行/秒 (23 ~ 28 MB/s)。
受数据复杂度和主键更新逻辑影响。
读取能力: 约 2.8万 ~ 3万 行/秒 (26 ~ 28 MB/s)。
受列数裁剪和查询过滤条件影响。
冗余水位(推荐): 建议预留 20% ~ 30% 的资源余量,以确保集群在流量突发高峰时的稳定性。
计算示例:
若计算结果为 64 CU,且您选择了 8 CU 的规格,则需要部署 8 个 Tablet Server 节点。
本地存储规划
本地存储的消耗与表类型(日志表或主键表)密切相关。
配置建议: 初始阶段建议使用默认配置。
扩缩容规则: 支持根据业务增长单独扩容磁盘,或通过增加节点来横向扩展存储容量。
重要限制: 磁盘支持扩容,但不支持缩容。 请在规划时避免过度预配。
典型场景配置参考
场景类型 | 写入吞吐 | 读取吞吐 | 表类型 | 列数 | 总 CU 需求 | 节点配置建议 |
低吞吐流式处理 | 25万 行/s | 25万 行/s | 日志表 | 20 | 12 CU | 3 × 4 CU |
中等吞吐实时分析 | 50万 行/s | 70万 行/s | 主键表 | 50 | 32 CU | 4 × 8 CU |
高吞吐实时数仓 | 220万 行/s | 250万 行/s | 主键表 | 100 | 128 CU | 8 × 16 CU |
超大规模流式处理 | 500万 行/s | 500万 行/s | 日志表 | 30 | 256 CU | 16 × 16 CU |
维度表查询服务 | 20万 行/s | 30万 QPS | 主键表 | 30 | 12 CU | 3 × 4 CU |
常见问题
Q:使用 "10个 8CU 节点" 和 "5个 16CU 节点" ,集群上都是80CU有什么区别?
A: 两者在计算总性能上基本一致,主要区别在于存储上限与运维灵活性:
存储上限不同: 单个节点的本地磁盘通常有最大容量限制(例如 2TB)。16CU 节点的数量较少,会导致集群整体的磁盘总容量上限低于 8CU 节点集群。如果您的业务数据量巨大,更多的节点数量通常意味着更大的总存储空间。
扩缩容粒度不同: 8CU 规格的粒度更细。在进行扩缩容操作时,8CU 节点允许您以更小的资源步长进行调整,资源调度和成本控制更加灵活。