本文档帮助您为从 BigQuery 迁移至 MaxCompute 的工作负载选择合适的表格式。BigQuery 表统一支持批量装载、流式插入、DML、时间旅行和聚簇等功能,而 MaxCompute 历史上提供多种物理表类型,各自针对不同的访问模式优化。迁移时若选择了不合适的表格式,后续修正需要高成本的重新入仓。
目标
把每一种 BigQuery 工作负载模式(批 ELT、流式摄入、DML 频繁的维度表、宽事实表)映射到正确的 MaxCompute 表格式。
理解为什么 Append Delta Table 是 BigQuery 迁移场景推荐的默认目标格式。
理解 MaxCompute 后台自动 compaction 与增量 reclustering 机制及其对查询性能的影响。
理解如何将 BigQuery 三种分区类型—— 时间列分区、摄入时间分区(
_PARTITIONTIME)、整数范围分区,转换为 MaxCompute 等价分区表格式。
能力对比
四种 MaxCompute 表格式
MaxCompute 提供四种表格式。从 BigQuery 迁移视角看,通常只考虑 Append Delta 与 PK Delta 两种。
能力 | 标准表 | 事务表 | Append Delta Table | PK Delta Table |
存储引擎 | 不可变列式 | 基于标准表的 delta | 原生 delta(append 优化) | 原生 delta(主键) |
ACID 事务 | (仅分区级原子) | |||
时间旅行 | (有限) | |||
流式写入 | 仅批 | (低 QPS) | (高 QPS) | (中 QPS) |
行级 UPDATE / DELETE | (通过 MERGE INTO) | (通过主键) | ||
增量查询 | ||||
动态分桶 | (由 | |||
范围聚簇 | (仅 hash) | (仅在主键上做 hash) | ||
自动分区( | ||||
是否需要主键 | 必需 | |||
与 BigQuery 行为对齐度 | 低 | 中 | 高 | 中 |
典型场景 | 静态参考表、外部落地 | 遗留场景 —— 仅用于向后兼容 | 事实表、事件流、ELT 产出、绝大多数迁移过来的 BigQuery 表 | 高频 upsert 的维度表 |
场景到表格式的选型矩阵
BigQuery 模式 | 推荐 MaxCompute 格式 |
时间列分区的表( | Append Delta Table + |
使用自动聚簇的 BigQuery 表 | Append Delta Table + |
通过 MERGE 更新的缓慢变化维度 | PK Delta Table(在自然键上建主键) |
高 QPS 流式插入(Pub/Sub → BigQuery Storage Write API) | Append Delta Table |
一次性快照 / 查找表 | Append Delta Table |
就地查询 GCS/OSS | MaxCompute 外部表 |
在典型 BigQuery 迁移中,90%+ 的工作负载适合使用 Append Delta Table 作为默认选择。
Append Delta Table能力
启用 Append Delta Table 属性
Append Delta 格式在 CREATE TABLE 时通过表属性定义。
-- 创建Append Delta Table
CREATE TABLE <table_name> (
<col_name <data_type> [NOT NULL] [DEFAULT <default_value>] [comment <col_comment>], ...
)
[comment <table_comment>]
[RANGE CLUSTERED BY (<col_name> [, <col_name>, ...]) ]
TBLPROPERTIES (
"table.format.version"="2"
["acid.data.retain.hours"="hours"...]
)
[LIFECYCLE <days>]Append Delta Table 的判定条件是:"table.format.version"="2" 且不带 PRIMARY KEY 子句。加了 PRIMARY KEY 就变成 PK Delta Table(支持按键 upsert,但不再享有动态分桶 / 范围聚簇)。
常用参数
属性 | 默认值 | 属性值 | 用途 |
| — | 必须为 | 启用 ACID / MVCC |
| 24 | [24, 168] | 时间旅行保留窗口(小时) |
|
| 布尔 | 允许增量查询超出最新 commit 时间点 |
| — |
| 标记为摄入时间分区(配合 |
完整参数说明请参考:DDL。
常用校验命令
DESC EXTENDED <table>;确认表类型(
Delta Table)、存储属性、自动分区表达式。SHOW HISTORY FOR TABLE <table>;列出所有 commit,包括时间戳和操作类型(INSERT / UPDATE / DELETE / MERGE)。
动态分桶(Dynamic Bucketing)
传统的 MaxCompute 聚簇表要求用户提前指定分桶数(CLUSTERED BY (col) INTO N BUCKETS)。桶数选错会引发长尾任务和小文件问题。
Append Delta Table 完全解除这一负担,分桶由存储引擎自动管理:
每个桶自动目标为 ≈500 MB。
数据增长时自动分裂,数据缩减时自动合并,无需用户干预。
CREATE TABLE时不需要写INTO N BUCKETS。
更多详细使用请参考:Append Delta Table数据组织优化
这与 BigQuery 自动聚簇本质一致,BigQuery 内部会重新组织存储,用户看不到桶数。Append Delta Table 在整个数据生命周期(支持 TB 到 EB 级别),都保持良好调优状态,无需人工介入。
范围聚簇(Range Clustering)
BigQuery 聚簇能把最多 4 列聚簇键上的相似值物理靠近。Append Delta Table 通过可选的 RANGE CLUSTERED BY 子句提供同样能力:
CREATE TABLE store_sales (
ss_sold_date DATE,
ss_customer_sk BIGINT,
ss_item_sk BIGINT,
ss_net_paid DECIMAL(38, 2)
)
AUTO PARTITIONED BY (TRUNC_TIME(ss_sold_date, 'day') AS sale_dt)
RANGE CLUSTERED BY (ss_customer_sk)
TBLPROPERTIES ("table.format.version"="2");详细DDL语句请参考:SQL相关操作。
选型建议:
在热点查询的等值或范围谓词上选聚簇键。
customer_sk、user_id、device_id、order_id都是典型选择。通常单键足够。 与 BigQuery 不同,MaxCompute 范围聚簇建议从单键开始按需扩展,复合键的场景建议针对工作负载进行充分验证。
范围聚簇同时加速点查、范围扫描,并且在两侧表的桶数和聚簇键对齐的情况下,支持在两侧同键聚簇时实现桶裁剪的高效 Join。
范围聚簇与自动分区正交:分区按时间裁剪,聚簇在分区内裁剪。两者叠加使用效果最佳。
增量 Reclustering
聚簇良好的表随着新数据写入会慢慢劣化,新文件的键值范围与旧聚簇文件重叠,查询裁剪效果下降。BigQuery 与 MaxCompute 处理方式相同:平台后台自动 recluster。
MaxCompute 的 Storage Service 异步监测桶的重叠深度(衡量同一分桶内文件之间聚簇键范围的重叠程度),达到阈值时触发增量 recluster。特点:
增量:只处理需要重排的文件,不重写整表。
非阻塞:compaction 过程中读写正常。
自动:无需用户命令、无需定时任务、无需维护窗口。
更多介绍请参考:增量重聚簇(Incremental Reclustering)。
自动分区表(Auto Partition Table)
MaxCompute 分区表概述
MaxCompute支持普通分区表和自动分区表(AUTO PARTITION)两种分区表类型
普通分区表:直接指定一个或多个分区字段对表进行分区。
自动分区表(AUTO PARTITION):分区列基于以下两种不同方式自动生成。
-- 创建基于时间计算函数的自动分区表
CREATE [OR REPLACE] TABLE [IF NOT EXISTS] <table_name> (<col_name> <data_type>, ... )
[COMMENT <table_comment>]
AUTO PARTITIONED BY (<auto_partition_expression> [AS <auto_partition_column_name>]);
-- 创建基于数据写入时间的自动分区表
CREATE [OR REPLACE] TABLE [IF NOT EXISTS] <table_name> (_partitiontime <data_type>, <col_name><data_type>... )
[COMMENT <table_comment>]
AUTO PARTITIONED BY (<auto_partition_expression> [AS <auto_partition_column_name>]);
TBLPROPERTIES('ingestion_time_partition'='true');其中:
当指定
TBLPROPERTIES('ingestion_time_partition'='true')时,代表指定所创建的表为基于数据写入时间的自动分区表(Ingestion Time Partition表),按数据写入时间生成分区列。auto_partition_expression:定义如何进行分区列计算的表达式。支持使用TRUNC_TIME函数来进行分区列的生成计算。
详细使用说明请参考:分区表类型。
MaxCompute及BigQuery 分区表对应关系
BigQuery 支持三种分区方式,覆盖了绝大多数生产场景。其中,摄入时间分区(_PARTITIONTIME)与时间列分区(按 event_date 分区)是使用最广的 BigQuery 特性。
MaxCompute 与BigQuery分区表能力对应关系如下;
BigQuery 能力 | MaxCompute 对应 | 关键差异 |
时间单位列分区(DATE / TIMESTAMP / DATETIME) |
|
|
摄入时间分区(_PARTITIONTIME) |
|
|
整数范围分区 | 无直接等价语法;推荐用 RANGE CLUSTERED BY 替代,或手动 hash 分区 | MaxCompute 无原生整数范围自动分区,大多数场景下,范围聚簇效果优于显式范围分区 |
更多MaxCompute自动分区表详细使用请参考分区表概述。
分区策略转换示例
时间单位分区
BigQuery 中基于 DATE / TIMESTAMP / DATETIME 列的分区,在 MaxCompute 中通过 AUTO PARTITIONED BY (TRUNC_TIME(col, '<granularity>')) 直接对应。支持的小时粒度('hour')与 BigQuery 的 HOUR 对齐。
-- ==================== BigQuery ====================
CREATE TABLE mydataset.store_sales (
ss_sold_date DATE,
ss_customer_sk INT64,
ss_net_paid NUMERIC
)
PARTITION BY ss_sold_date
OPTIONS (
require_partition_filter = TRUE
);
-- ==================== MaxCompute ====================
CREATE TABLE store_sales (
ss_sold_date DATE,
ss_customer_sk BIGINT,
ss_net_paid DECIMAL(38, 9)
)
AUTO PARTITIONED BY (TRUNC_TIME(ss_sold_date, 'day') AS sale_dt)
TBLPROPERTIES ("table.format.version" = "2");摄入时间分区(_PARTITIONTIME)
BigQuery 的摄入时间分区,平台自动按写入时间将行分配到分区,并暴露 _PARTITIONTIME 伪列。MaxCompute 通过 ingestion_time_partition 属性提供对等能力。
-- ==================== BigQuery ====================
CREATE TABLE mydataset.events (
event_name STRING,
payload STRING
)
PARTITION BY _PARTITIONDATE
OPTIONS (
partition_expiration_days = 90
);
-- ==================== MaxCompute ====================
CREATE TABLE events (
_partitiontime TIMESTAMP, -- 类型必须为 TIMESTAMP 或 TIMESTAMP_NTZ
event_name STRING,
payload STRING
)
AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, 'day') AS event_dt)
TBLPROPERTIES (
"table.format.version" = "2",
"ingestion_time_partition" = "true"
)
LIFECYCLE 90; -- 等价于 BigQuery partition_expiration_days整数范围分区
BigQuery 支持基于 INT64 列的整数范围分区(RANGE_BUCKET),MaxCompute 没有直接对等的语法。
如果查询主要在整数列上做等值或范围过滤,推荐迁移到MaxCompute不带分区的 Append Delta Table 并在该列上做范围聚簇,效果通常优于显式范围分区。
-- ==================== BigQuery ====================
CREATE TABLE mydataset.user_events (
user_id INT64,
event_name STRING,
event_time TIMESTAMP
)
PARTITION BY RANGE_BUCKET(user_id, GENERATE_ARRAY(0, 1000000, 1000));
-- ==================== MaxCompute(推荐)====================
CREATE TABLE user_events (
user_id BIGINT,
event_name STRING,
event_time TIMESTAMP
)
RANGE CLUSTERED BY (user_id)
TBLPROPERTIES ("table.format.version" = "2");