集成一键建表模板

更新时间:
复制 MD 格式

本文为您介绍如何按输出组件配置离线集成任务的一键建表DDL模板。

功能说明

配置离线集成任务的输出组件时,如果写入的目标表不存在,您可以通过一键建表在目标端创建表。系统依据来源表结构与该输出组件对应的DDL模板,自动替换模板中的占位符生成建表语句。

通过集成一键建表模板,您可以按输出组件维护当前租户的建表DDL模板,统一租户内的建表规范与常用语法。未配置模板的输出组件使用系统默认模板,配置后以租户的模板为准。

支持配置DDL模板的输出组件

支持配置DDL模板的输出组件包括:MySQL、Oracle、PostgreSQL、Hive(Hive、Hudi、Iceberg、Paimon表)、MaxCompute(普通表、Delta表)、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、OushuDB、Hologres、TDH Inceptor、DM(达梦)、openGauss、StarRocks、Greenplum、ArgoDB、Doris、SelectDB、Lindorm、GaussDB(DWS)、Databricks、Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for Oracle、TDSQL for MySQL、TDSQL for PostgreSQL、DolphinDB、PolarDB-X2.0、GBase 8c、Snowflake。

其中,Hive和MaxCompute支持对各表类型的DDL分别进行配置。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择管理中心 > 规范设置。

  2. 在左侧导航栏中选择研发规约 > 集成一键建表模板。

  3. 在输出组件列表中选择目标输出组件。

  4. 单击编辑,在目标输出组件的DDL模板中编辑建表语句。支持使用的占位符请参见下文支持的占位符。

    Hive与MaxCompute需切换至目标表类型页签后分别编辑。

    说明
    • 单个DDL模板不超过1024个字符。

    • 模板中语句不做SQL语法强校验,系统仅做占位符合法性提示。

  5. 编辑完成后,单击保存。

支持的占位符

生成建表语句时,系统依据来源表结构替换模板中的占位符。支持的占位符如下。

占位符

描述

${tableName}

目标表名,取离线集成任务输出配置中的表名。

${fieldList}

字段列表,依据来源表字段循环生成,格式为字段名、字段类型与字段注释。字段类型按来源端至目标端的类型映射转换。

${tableComment}

表注释,取来源表的注释。

${columnComments}

列注释语句,依据来源表字段循环生成独立的列注释语句,适用于注释需单独声明的数据库,例如PostgreSQL、Oracle。字段注释已内联在字段列表中的数据库无需使用。

${firstField}

字段列表中的第一个字段,用于主键或分布键。支持在模板中改为指定字段。

分区字段不使用占位符,需在模板中直接书写为ds。