配置Hologres输出

您可以通过交互式分析Hologres的实时写入能力,构建实时数仓。

前提条件

配置Hologres输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见实时同步支持的数据源

背景信息

  • Hologres支持的版本:0.7、0.8、0.9、0.10、1.1。

  • 字段使用限制:不支持UUID类型的字段。

操作步骤

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 鼠标悬停至新建图标,单击新建节点 > 数据集成 > 实时同步

    您也可以展开业务流程,右键单击目标业务流程,选择新建节点 > 数据集成 > 实时同步

  3. 新建节点对话框中,选择同步方式单表(Topic)到单表(Topic)ETL,输入名称,并选择路径

  4. 单击确认

  5. 在实时同步节点的编辑页面,单击输出 > Hologres并拖拽至编辑面板,连线已配置好的输入或转换节点。

  6. 单击Hologres节点,在节点配置对话框中,配置各项参数。

    参数

    描述

    数据源

    选择已经配置好的Hologres数据源,此处仅支持Hologres数据源。

    如果您未配置数据源,请单击右侧的新建数据源,进入工作空间管理 > 数据源管理页面进行新建,详情请参见配置Hologres数据源

    选择当前数据源下需要同步的数据表名称。

    您可以单击右侧的一键建表新建数据表,也可以单击数据预览进行确认。

    动态时间分区

    当Hologres表为分区表时,您需要设置动态时间分区。

    该动态时间分区会解析来源映射字段的数据值,根据yyyymmddhhmmss的格式解析。解析后,您可以在目标表中使用变量拼凑为字符串格式的动态分区。来源值不同,最终的目标分区也不同。

    例如,来源数据为20200816,目标分区格式为{yyyy}-{mm}-{dd},则最终写入的目标分区为2020-08-16

    作业类型

    包括重放插入两种类型:

    • 重放表示镜像功能。即源端INSERT一条记录,Hologres中同样INSERT一条数据。源端进行UPDATEDELETE操作,Hologres会执行相应的UPDATEDELETE操作。

    • 插入表示将Hologres作为流存储,通过INSERT保存源端同步过来的数据。

    写入冲突策略

    包括覆盖忽略两种类型:

    • 覆盖:使用源端同步过来的新数据覆盖已有的数据。

    • 忽略:忽略源端同步过来的新数据,保留已有的数据。

    字段映射

    单击字段映射,设置源端和目标端字段的映射。同步任务会根据字段的映射关系同步数据。

  7. 单击工具栏中的保存图标。