使用Hologres动态表

步骤一：数据准备

在开始之前，在Hologres数据库中准备一张源表。为了实现增量刷新，源表需要开启Binlog。在DataWorks的Hologres SQL节点或任何Hologres客户端中执行以下SQL，创建一张订单表 orders：

-- 创建源表，并开启Binlog以支持增量刷新
CREATE TABLE orders (
    order_id INT PRIMARY KEY,
    user_id INT,
    user_name TEXT,
    price FLOAT,
    order_time TIMESTAMPTZ
) WITH (
    binlog_level = 'replica', -- 关键：开启Binlog
    binlog_ttl = '86400'      -- Binlog保留时长，单位秒，例如一天
);

-- 插入一些初始数据
INSERT INTO orders VALUES 
(1, 101, 'Alice', 99.9, NOW()),
(2, 102, 'Bob', 19.5, NOW()),
(3, 101, 'Alice', 25.0, NOW());

步骤二：进入动态表创建向导

1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

2. 在左侧导航栏单击，进入数据目录模块。

3. 在数据目录区域的Hologres类型下找到目标Hologres实例，依次展开目录，单击动态表右侧的图标，进入新建动态表页面。

   说明

   • 如果您使用的是标准模式工作空间，在Hologres数据目录下会看到开发和生产两个数据库实例。建议您先在开发环境的数据库中测试新建Hologres动态表，确认无误后再于生产环境中创建。

   • 在标准模式工作空间中，您在Hologres开发环境数据库中创建的动态表不会自动同步到生产环境数据库中。若要在生产环境数据库中查询使用这些表，您需要在生产环境数据库内单独创建Hologres动态表。

步骤三：定义查询逻辑并预编译（关键步骤）

进入动态表创建页面之后，填写查询逻辑并编译。

1. 填写基础信息：

   • 动态表名称：输入一个唯一的表名，例如 dt_user_orders_agg。

   • 描述：填写表的用途，例如“按用户聚合的订单统计”。

2. 编写数据生成SQL：在字段信息区域的数据生成SQL页签中，编写定义动态表数据逻辑的SELECT查询。

   重要

   此处只需填写SELECT语句本身，无需包含CREATE DYNAMIC TABLEDDL命令。DDL完整语句系统将根据配置项自动解析并在右侧DDL处完整展示。

   SELECT 
       user_id,
       user_name,
       COUNT(*) AS order_count,
       SUM(price) AS total_price
   FROM public.orders
   GROUP BY user_id, user_name;

3. 执行预编译：

   编写完成后，单击SQL编辑器上方的预编译按钮。预编译是一个核心功能，它会实时与Hologres引擎交互，完成以下任务：

   • 校验语法：检查您的SELECT语句是否符合SQL规范。

   • 推断刷新模式：分析查询逻辑和源表属性，判断支持哪些刷新模式（自动、增量、全量）。

   • 解析字段：如果语法正确，自动解析出动态表的输出字段、数据类型等。

   预编译结果反馈：

   • 成功：系统会提示“语法正确”并列出支持的刷新模式。您可以继续后续配置。

   • 失败：如果SQL有误或逻辑不满足动态表要求，系统会明确提示错误原因。请根据提示修改SQL后，再次预编译。

4. （可选）查看并编辑字段详情：

   • 预编译成功后，您可以单击字段详情页签。

   • 在这里，您可以查看系统解析出的所有字段、类型和非空属性，并可以在描述列为每个字段添加注释，以提高元数据可读性。

     

此处无需关注分区配置和高级参数配置。参数说明，请参见附录：配置项说明。

步骤四：配置数据刷新策略

预编译成功后，页面右侧的刷新策略面板将变为可配置状态。

1. 基础参数：

   • 表类型：由于未选择分区字段，系统自动识别为非分区表。

   • 刷新策略：选择增量刷新，以实现低延迟的数据同步。

   • 刷新触发方式：选择Hologres自动刷新。

   • 是否自动刷新数据：保持默认的是。

   • 数据新鲜度：设置为 5 分钟。此参数定义数据的最大延迟时间。系统会根据数据流入情况动态触发刷新，以确保动态表的数据相比源表的延迟始终在 5 分钟以内。

   • 增量刷新消费基表方式：选择stream。这是推荐的低延迟流式消费方式。

   • Hologres计算资源：选择 Serverless资源。这可以避免刷新任务占用您宝贵的实例自有资源，实现资源隔离。

2. 高级参数（可选）：此部分用于设置特殊的GUC参数，一般保持默认即可。详情请参见GUC参数。

步骤五：发布

1. 确认所有配置无误后，单击页面顶部的发布按钮。

2. 在弹出的确认对话框中，再次单击发布。

恭喜！您已成功创建并发布了一个Hologres动态表。现在，当源表 orders 有新数据插入或更新时，动态表 dt_user_orders_agg 会在约5分钟内自动更新其聚合结果。

步骤一：数据准备

首先，我们需要一个记录用户注册信息的源表 users。这张表需要包含一个时间戳字段作为分区依据，并同样开启Binlog。

-- 创建用户注册表，并开启Binlog
CREATE TABLE users (
    user_id INT PRIMARY KEY,
    user_name TEXT,
    region TEXT,
    registration_time TIMESTAMPTZ  -- 用户注册时间，TIMESTAMPTZ类型
) WITH (
    binlog_level = 'replica',
    binlog_ttl = '86400'
);

-- 插入一些测试数据，请将日期替换为当前业务日期
INSERT INTO users VALUES 
(1, 'Alice', 'CN-Hangzhou', '2026-02-27 10:00:00+08'),
(2, 'Bob', 'CN-Shanghai', '2026-02-27 14:30:00+08'),
(3, 'Charlie', 'CN-Beijing', (NOW() - INTERVAL '1 day')::TIMESTAMPTZ);

步骤二：进入动态表创建向导

1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

2. 在左侧导航栏单击，进入数据目录模块。

3. 在数据目录区域的Hologres类型下找到目标Hologres实例，依次展开目录，单击动态表右侧的图标，进入新建动态表页面。

步骤三：定义查询逻辑并预编译

1. 填写基础信息：

   • 动态表名称：dwd_user_new_user_detail_di

   • 描述：每日新增用户明细统计

2. 编写数据生成SQL：

   编写一个SQL，它会从 users 表中提取所有用户记录。不需要在WHERE子句中手动过滤时间，动态表的分区机制会自动处理。

   SELECT 
       user_id,
       user_name,
       region,
       registration_time, -- 原始的精确时间字段可以保留，方便查询
       CAST(registration_time AS DATE) AS ds -- 【核心】将时间戳转换为DATE类型，作为分区键
   FROM public.users;

3. 执行预编译：单击预编译按钮。成功后，系统会解析出字段信息。

步骤四：选择分区字段（关键步骤）

这是创建分区表的关键一步。

• 在分区字段信息区域，单击分区字段的下拉框。

• 选择新字段 ds 作为分区字段。

选择分区字段后，DataWorks会自动识别此表为分区表，并展示出分区相关的配置项。

步骤五：配置分区和刷新策略

1. 分区配置：

   • 分区属性：自动显示为逻辑分区。

   • 分区格式：选择 yyyy-mm-dd。这个格式现在与我们分区键ds（DATE类型）的格式完全匹配。

   • 分区刷新范围： 设置为 7 day。

   • 分区管理 > 分区到期时长 ： 设置为 30 day。

2. 刷新策略配置：

   • 刷新策略：选择 自动刷新。

   • 刷新触发方式：选择Hologres自动刷新。

   • 数据新鲜度：设置为 10 minute。

   • Hologres计算资源：选择Serverless资源。

步骤六：发布

单击页面顶部的发布按钮。

后续操作与验证

1. 查看分区：发布成功后，展开 dwd_user_new_user_detail_di 表，您会看到根据日期（如 2026-02-27）创建的分区子表。

2. 验证数据：

   • 创建一个Hologres SQL节点，向users表插入当天的新数据：

     INSERT INTO users VALUES (4, 'David', 'CN-Shenzhen', '2026-02-27 18:00:00+08');

   • 等待约10分钟后，使用新的分区键ds进行查询，效率更高：

     -- 高效查询方式：直接对分区键进行过滤
     -- 若需马上验证，可手动刷新 REFRESH DYNAMIC TABLE dwd_user_new_user_detail_di PARTITION (ds = '2026-02-27');
     SELECT * FROM dwd_user_new_user_detail_di WHERE ds = '2026-02-27';

     您会看到新用户'David'已成功进入了当天的分区。

     

1. 基础信息、字段信息、分区字段

• 字段信息 (SQL)：定义动态表数据来源的SELECT查询，预编译是必须步骤。

• 分区字段：

  • 不选择：创建非分区表。

  • 选择一个时间/日期类型字段：创建分区表，系统将自动切换到分区表配置模式。

2. 数据刷新配置（核心）

3. 分区配置（仅分区表可见）

当您选择分区字段后，会增加以下配置项。新版动态表均为逻辑分区。

• 分区格式： （必填） 定义如何根据分区字段的值生成分区。例如，字段类型为TIMESTAMPTZ，格式选择yyyy-mm-dd，则会按天创建分区。

• 分区刷新范围： 定义自动刷新的活跃分区范围。例如“最近7天”，则Hologres仅自动刷新最近7天的分区，更早的分区将不再自动刷新，以节省资源。

• 分区管理（默认折叠）：

  • 分区到期时长： 设置分区的生命周期（TTL），到期的分区将被自动删除。

  • 分区数据保持热存时长： 结合冷热分层存储，定义分区数据在热存储（SSD）中保留的时间。

4. 高级设置（表属性）

这些是应用于动态表自身的物理属性，与Hologres普通表设置类似。