Schema 转换与数据类型映射

DDL 语法

• 字段分隔符：BigQuery 使用 <name type>，MaxCompute 使用 <name : type>。

• 尾逗号：两侧的 STRUCT<...> 内均不允许。

-- BigQuery
CREATE TABLE user_events (
  user_id INT64,
  device STRUCT<
    os      STRING,
    version STRING,
    model   STRING
  >
);

-- MaxCompute
CREATE TABLE user_events (
  user_id BIGINT,
  device  STRUCT<
    os      : STRING,
    version : STRING,
    model   : STRING
  >
) TBLPROPERTIES ("table.format.version" = "2");

DDL —— 3 层嵌套 STRUCT

-- MaxCompute
CREATE TABLE user_events (
  user_id BIGINT,
  device  STRUCT<
    os        : STRING,
    version   : STRING,
    hardware  : STRUCT<
      model  : STRING,
      cpu    : STRUCT<
        cores : INT,
        arch  : STRING
      >
    >
  >
) TBLPROPERTIES ("table.format.version" = "2");

嵌套深度上限

MaxCompute 嵌套深度上限更大，任意 BigQuery STRUCT 层级都可以直接翻译。

注意，MaxCompute 单个 STRUCT 值（含所有嵌套字段）序列化后不应超过 1 MB，否则计算时可能触发 OOM。迁移前建议在 BigQuery 侧对字段大小进行估算。

字面量构造

BigQuery 提供三种 STRUCT 构造语法，MaxCompute 提供三种对应函数。

Schema 演进

• BigQuery：SQL DDL 不支持对已有 STRUCT 内部增删改字段；但通过 bq CLI / API 如 update、 tables.patch 可以添加嵌套字段。删除和重命名任何方式都不支持。

• MaxCompute：ALTER TABLE 不支持对已有 STRUCT 内部做增删改字段（与 BQ DDL 行为一致）。

DDL语法

-- BigQuery
CREATE TABLE orders (
  order_id INT64,
  items ARRAY<STRUCT<
    sku   STRING,
    qty   INT64,
    price NUMERIC
  >>
);

-- MaxCompute
CREATE TABLE orders (
  order_id BIGINT,
  items ARRAY<STRUCT<
    sku   : STRING,
    qty   : BIGINT,
    price : DECIMAL(38, 9)
  >>
) TBLPROPERTIES ("table.format.version" = "2");

模式 1：标量数组展开

-- BigQuery
SELECT tag
FROM products, UNNEST(tags) AS tag;

-- MaxCompute
SELECT tag
FROM products
JOIN UNNEST(products.tags) AS tag;

模式 2：STRUCT 数组展开（最常用）

STRUCT 数组展开后，每个 STRUCT 字段自动成为独立列，与 BigQuery 行为一致。

-- BigQuery
SELECT o.order_id, item.sku, item.qty, item.price
FROM orders o
CROSS JOIN UNNEST(o.items) AS item;

-- MaxCompute
SELECT o.order_id, item.sku, item.qty, item.price
FROM orders o
JOIN UNNEST(o.items) AS item;
-- 若需保留 items 为 NULL 或空数组的行，使用 LEFT JOIN UNNEST(...)。

MaxCompute 的 UNNEST 仅展开最外层 STRUCT 字段。若 ARRAY<STRUCT<..., sub STRUCT<...>>> 中存在内层 STRUCT，UNNEST 会把 sub 保留为单列，使用点符号访问其中字段（item.sub.field）。BigQuery 行为相同。

模式 3：JOIN UNNEST（带 ON 条件，MaxCompute 增强）

MaxCompute 的 JOIN UNNEST 支持 ON 等值条件，可以在展开的同时过滤元素，减少中间结果集。BigQuery 不支持此语法。

-- MaxCompute：展开 user 的 allowed_dept_ids，仅保留匹配当前部门的元素

SELECT u.user_id, dept_id AS allowed_dept_id
FROM user_configs u
JOIN UNNEST(u.allowed_dept_ids) AS dept_id
  ON dept_id = u.current_dept_id;

此语法在权限过滤、标签匹配等场景中比先展开再 WHERE 更高效。

元素位置

BigQuery 的 UNNEST(...) WITH OFFSET AS idx 返回元素位置。MaxCompute 通过 POSEXPLODE 提供该能力：

-- MaxCompute 中 BigQuery WITH OFFSET 的等价写法

SELECT o.order_id, idx, item.sku
FROM orders o
LATERAL VIEW POSEXPLODE(o.items) t AS idx, item;