本文为您介绍如何按输出组件配置离线集成任务的一键建表DDL模板。
功能说明
配置离线集成任务的输出组件时,如果写入的目标表不存在,您可以通过一键建表在目标端创建表。系统依据来源表结构与该输出组件对应的DDL模板,自动替换模板中的占位符生成建表语句。
通过集成一键建表模板,您可以按输出组件维护当前租户的建表DDL模板,统一租户内的建表规范与常用语法。未配置模板的输出组件使用系统默认模板,配置后以租户的模板为准。
支持配置DDL模板的输出组件
支持配置DDL模板的输出组件包括:MySQL、Oracle、PostgreSQL、Hive(Hive、Hudi、Iceberg、Paimon表)、MaxCompute(普通表、Delta表)、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、OushuDB、Hologres、TDH Inceptor、DM(达梦)、openGauss、StarRocks、Greenplum、ArgoDB、Doris、SelectDB、Lindorm、GaussDB(DWS)、Databricks、Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for Oracle、TDSQL for MySQL、TDSQL for PostgreSQL、DolphinDB、PolarDB-X2.0、GBase 8c、Snowflake。
其中,Hive和MaxCompute支持对各表类型的DDL分别进行配置。
操作步骤
-
在Dataphin首页的顶部菜单栏中,选择管理中心 > 规范设置。
-
在左侧导航栏中选择研发规约 > 集成一键建表模板。
-
在输出组件列表中选择目标输出组件。
-
单击编辑,在目标输出组件的DDL模板中编辑建表语句。支持使用的占位符请参见下文支持的占位符。
Hive与MaxCompute需切换至目标表类型页签后分别编辑。
说明-
单个DDL模板不超过1024个字符。
-
模板中语句不做SQL语法强校验,系统仅做占位符合法性提示。
-
-
编辑完成后,单击保存。
支持的占位符
生成建表语句时,系统依据来源表结构替换模板中的占位符。支持的占位符如下。
|
占位符 |
描述 |
|
|
目标表名,取离线集成任务输出配置中的表名。 |
|
|
字段列表,依据来源表字段循环生成,格式为字段名、字段类型与字段注释。字段类型按来源端至目标端的类型映射转换。 |
|
|
表注释,取来源表的注释。 |
|
|
列注释语句,依据来源表字段循环生成独立的列注释语句,适用于注释需单独声明的数据库,例如PostgreSQL、Oracle。字段注释已内联在字段列表中的数据库无需使用。 |
|
|
字段列表中的第一个字段,用于主键或分布键。支持在模板中改为指定字段。 |
分区字段不使用占位符,需在模板中直接书写为ds。