面向 BigQuery 迁移的表格式选型

更新时间:
复制 MD 格式

本文档帮助您为从 BigQuery 迁移至 MaxCompute 的工作负载选择合适的表格式。BigQuery 表统一支持批量装载、流式插入、DML、时间旅行和聚簇等功能,而 MaxCompute 历史上提供多种物理表类型,各自针对不同的访问模式优化。迁移时若选择了不合适的表格式,后续修正需要高成本的重新入仓。

目标

  • 把每一种 BigQuery 工作负载模式(批 ELT、流式摄入、DML 频繁的维度表、宽事实表)映射到正确的 MaxCompute 表格式。

  • 理解为什么 Append Delta Table 是 BigQuery 迁移场景推荐的默认目标格式。

  • 理解 MaxCompute 后台自动 compaction 与增量 reclustering 机制及其对查询性能的影响。

  • 理解如何将 BigQuery 三种分区类型—— 时间列分区、摄入时间分区(_PARTITIONTIME)、整数范围分区,转换为 MaxCompute 等价分区表格式。

能力对比

四种 MaxCompute 表格式

MaxCompute 提供四种表格式。从 BigQuery 迁移视角看,通常只考虑 Append Delta 与 PK Delta 两种。

能力

标准表

事务表

Append Delta Table

PK Delta Table

存储引擎

不可变列式

基于标准表的 delta

原生 delta(append 优化)

原生 delta(主键)

ACID 事务

不支持(仅分区级原子)

支持

支持

支持

时间旅行

不支持

支持(有限)

支持

支持

流式写入

仅批

支持(低 QPS)

支持(高 QPS)

支持(中 QPS)

行级 UPDATE / DELETE

不支持

支持

支持(通过 MERGE INTO)

支持(通过主键)

增量查询

不支持

支持

支持

支持

动态分桶

不支持

不支持

支持

不支持(由 write.bucket.num 固定)

范围聚簇

不支持(仅 hash)

不支持

支持

不支持(仅在主键上做 hash)

自动分区(TRUNC_TIME)

支持

不支持

支持

不支持

是否需要主键

不支持

不支持

不支持

必需

与 BigQuery 行为对齐度

低

中

高

中

典型场景

静态参考表、外部落地

遗留场景 —— 仅用于向后兼容

事实表、事件流、ELT 产出、绝大多数迁移过来的 BigQuery 表

高频 upsert 的维度表

场景到表格式的选型矩阵

BigQuery 模式

推荐 MaxCompute 格式

时间列分区的表(_PARTITIONTIME)

Append Delta Table + AUTO PARTITIONED BY (TRUNC_TIME(...))

使用自动聚簇的 BigQuery 表

Append Delta Table + RANGE CLUSTERED BY (col)

通过 MERGE 更新的缓慢变化维度

PK Delta Table(在自然键上建主键)

高 QPS 流式插入(Pub/Sub → BigQuery Storage Write API)

Append Delta Table

一次性快照 / 查找表

Append Delta Table

就地查询 GCS/OSS

MaxCompute 外部表

在典型 BigQuery 迁移中,90%+ 的工作负载适合使用 Append Delta Table 作为默认选择。

Append Delta Table能力

启用 Append Delta Table 属性

Append Delta 格式在 CREATE TABLE 时通过表属性定义。

-- 创建Append Delta Table
CREATE TABLE <table_name> (
  <col_name <data_type> [NOT NULL] [DEFAULT <default_value>] [comment <col_comment>], ...   
) 
[comment <table_comment>]
[RANGE CLUSTERED BY (<col_name> [, <col_name>, ...]) ]
TBLPROPERTIES (
  "table.format.version"="2" 
  ["acid.data.retain.hours"="hours"...]
)
[LIFECYCLE <days>]

Append Delta Table 的判定条件是:"table.format.version"="2" 且不带 PRIMARY KEY 子句。加了 PRIMARY KEY 就变成 PK Delta Table(支持按键 upsert,但不再享有动态分桶 / 范围聚簇)。

常用参数

属性

默认值

属性值

用途

table.format.version

—

必须为 "2"

启用 ACID / MVCC

acid.data.retain.hours

24

[24, 168]

时间旅行保留窗口(小时)

acid.incremental.query.out.of.time.range.enabled

false

布尔

允许增量查询超出最新 commit 时间点

ingestion_time_partition

—

"true"

标记为摄入时间分区(配合 _partitiontime 列)

完整参数说明请参考:DDL。

常用校验命令

  • DESC EXTENDED <table>;

    确认表类型(Delta Table)、存储属性、自动分区表达式。

  • SHOW HISTORY FOR TABLE <table>;

    列出所有 commit,包括时间戳和操作类型(INSERT / UPDATE / DELETE / MERGE)。

动态分桶(Dynamic Bucketing)

传统的 MaxCompute 聚簇表要求用户提前指定分桶数(CLUSTERED BY (col) INTO N BUCKETS)。桶数选错会引发长尾任务和小文件问题。

Append Delta Table 完全解除这一负担,分桶由存储引擎自动管理:

  • 每个桶自动目标为 ≈500 MB。

  • 数据增长时自动分裂,数据缩减时自动合并,无需用户干预。

  • CREATE TABLE 时不需要写 INTO N BUCKETS。

更多详细使用请参考:Append Delta Table数据组织优化

这与 BigQuery 自动聚簇本质一致,BigQuery 内部会重新组织存储,用户看不到桶数。Append Delta Table 在整个数据生命周期(支持 TB 到 EB 级别),都保持良好调优状态,无需人工介入。

范围聚簇(Range Clustering)

BigQuery 聚簇能把最多 4 列聚簇键上的相似值物理靠近。Append Delta Table 通过可选的 RANGE CLUSTERED BY 子句提供同样能力:

CREATE TABLE store_sales (
  ss_sold_date       DATE,
  ss_customer_sk     BIGINT,
  ss_item_sk         BIGINT,
  ss_net_paid        DECIMAL(38, 2)
)
AUTO PARTITIONED BY (TRUNC_TIME(ss_sold_date, 'day') AS sale_dt)
RANGE CLUSTERED BY (ss_customer_sk)
TBLPROPERTIES ("table.format.version"="2");

详细DDL语句请参考:SQL相关操作。

选型建议:

  • 在热点查询的等值或范围谓词上选聚簇键。 customer_sk、user_id、device_id、order_id 都是典型选择。

  • 通常单键足够。 与 BigQuery 不同,MaxCompute 范围聚簇建议从单键开始按需扩展,复合键的场景建议针对工作负载进行充分验证。

  • 范围聚簇同时加速点查、范围扫描,并且在两侧表的桶数和聚簇键对齐的情况下,支持在两侧同键聚簇时实现桶裁剪的高效 Join。

范围聚簇与自动分区正交:分区按时间裁剪,聚簇在分区内裁剪。两者叠加使用效果最佳。

增量 Reclustering

聚簇良好的表随着新数据写入会慢慢劣化,新文件的键值范围与旧聚簇文件重叠,查询裁剪效果下降。BigQuery 与 MaxCompute 处理方式相同:平台后台自动 recluster。

MaxCompute 的 Storage Service 异步监测桶的重叠深度(衡量同一分桶内文件之间聚簇键范围的重叠程度),达到阈值时触发增量 recluster。特点:

  • 增量:只处理需要重排的文件,不重写整表。

  • 非阻塞:compaction 过程中读写正常。

  • 自动:无需用户命令、无需定时任务、无需维护窗口。

更多介绍请参考:增量重聚簇(Incremental Reclustering)。

自动分区表(Auto Partition Table)

MaxCompute 分区表概述

MaxCompute支持普通分区表和自动分区表(AUTO PARTITION)两种分区表类型

  • 普通分区表:直接指定一个或多个分区字段对表进行分区。

  • 自动分区表(AUTO PARTITION):分区列基于以下两种不同方式自动生成。

-- 创建基于时间计算函数的自动分区表
CREATE [OR REPLACE] TABLE [IF NOT EXISTS] <table_name> (<col_name> <data_type>, ... )
[COMMENT <table_comment>]
AUTO PARTITIONED BY (<auto_partition_expression> [AS <auto_partition_column_name>]);

-- 创建基于数据写入时间的自动分区表
CREATE [OR REPLACE] TABLE [IF NOT EXISTS] <table_name> (_partitiontime <data_type>, <col_name><data_type>... )
[COMMENT <table_comment>]
AUTO PARTITIONED BY (<auto_partition_expression> [AS <auto_partition_column_name>]);
TBLPROPERTIES('ingestion_time_partition'='true');

其中:

  • 当指定 TBLPROPERTIES('ingestion_time_partition'='true') 时,代表指定所创建的表为基于数据写入时间的自动分区表(Ingestion Time Partition表),按数据写入时间生成分区列。

  • auto_partition_expression:定义如何进行分区列计算的表达式。支持使用TRUNC_TIME函数来进行分区列的生成计算。

详细使用说明请参考:分区表类型。

MaxCompute及BigQuery 分区表对应关系

BigQuery 支持三种分区方式,覆盖了绝大多数生产场景。其中,摄入时间分区(_PARTITIONTIME)与时间列分区(按 event_date 分区)是使用最广的 BigQuery 特性。

MaxCompute 与BigQuery分区表能力对应关系如下;

BigQuery 能力

MaxCompute 对应

关键差异

时间单位列分区(DATE / TIMESTAMP / DATETIME)

AUTO PARTITIONED BY (TRUNC_TIME(col, 'day'/'hour'/'month'/'year'))

  • 语法不同,能力对齐;

  • MaxCompute 生成的分区列为 STRING 类型且不可修改;TRUNC_TIME 会先将本地时间转 UTC 再截断

摄入时间分区(_PARTITIONTIME)

AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, '<granularity>')) + TBLPROPERTIES('ingestion_time_partition'='true')

  • BigQuery 隐式生成 _PARTITIONTIME;

  • MaxCompute 需在 DDL 中显式声明 _partitiontime 列(类型只能是 TIMESTAMP 或 TIMESTAMP_NTZ),并设置 ingestion_time_partition 属性。

整数范围分区

无直接等价语法;推荐用 RANGE CLUSTERED BY 替代,或手动 hash 分区

MaxCompute 无原生整数范围自动分区,大多数场景下,范围聚簇效果优于显式范围分区

更多MaxCompute自动分区表详细使用请参考分区表概述。

分区策略转换示例

时间单位分区

BigQuery 中基于 DATE / TIMESTAMP / DATETIME 列的分区,在 MaxCompute 中通过 AUTO PARTITIONED BY (TRUNC_TIME(col, '<granularity>')) 直接对应。支持的小时粒度('hour')与 BigQuery 的 HOUR 对齐。

-- ==================== BigQuery ====================

CREATE TABLE mydataset.store_sales (
  ss_sold_date   DATE,
  ss_customer_sk INT64,
  ss_net_paid    NUMERIC       
)
PARTITION BY ss_sold_date
OPTIONS (
  require_partition_filter = TRUE
);

-- ==================== MaxCompute ====================
CREATE TABLE store_sales (
  ss_sold_date   DATE,
  ss_customer_sk BIGINT,
  ss_net_paid    DECIMAL(38, 9) 
)
AUTO PARTITIONED BY (TRUNC_TIME(ss_sold_date, 'day') AS sale_dt)
TBLPROPERTIES ("table.format.version" = "2");

摄入时间分区(_PARTITIONTIME)

BigQuery 的摄入时间分区,平台自动按写入时间将行分配到分区,并暴露 _PARTITIONTIME 伪列。MaxCompute 通过 ingestion_time_partition 属性提供对等能力。

-- ==================== BigQuery ====================
CREATE TABLE mydataset.events (
  event_name STRING,
  payload    STRING
)
PARTITION BY _PARTITIONDATE
OPTIONS (
  partition_expiration_days = 90
);

-- ==================== MaxCompute ====================
CREATE TABLE events (
  _partitiontime TIMESTAMP,     -- 类型必须为 TIMESTAMP 或 TIMESTAMP_NTZ
  event_name     STRING,
  payload        STRING
)
AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, 'day') AS event_dt)
TBLPROPERTIES (
  "table.format.version" = "2",
  "ingestion_time_partition" = "true"
)
LIFECYCLE 90;                   -- 等价于 BigQuery partition_expiration_days

整数范围分区

BigQuery 支持基于 INT64 列的整数范围分区(RANGE_BUCKET),MaxCompute 没有直接对等的语法。

如果查询主要在整数列上做等值或范围过滤,推荐迁移到MaxCompute不带分区的 Append Delta Table 并在该列上做范围聚簇,效果通常优于显式范围分区。

-- ==================== BigQuery ====================
CREATE TABLE mydataset.user_events (
  user_id    INT64,
  event_name STRING,
  event_time TIMESTAMP
)
PARTITION BY RANGE_BUCKET(user_id, GENERATE_ARRAY(0, 1000000, 1000));

-- ==================== MaxCompute(推荐)====================
CREATE TABLE user_events (
  user_id    BIGINT,
  event_name STRING,
  event_time TIMESTAMP
)
RANGE CLUSTERED BY (user_id)
TBLPROPERTIES ("table.format.version" = "2");