镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。
背景信息
如果Flink任务的生效模式为实时和离线,则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表,镜像表映射了实时表和离线表。您在开发计算任务时只需要引用镜像表,系统会为您自动生成实时实例和离线实例,提高了计算任务的研发效率。
步骤一:新建镜像表
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
- 在Dataphin首页,单击研发。
- 在数据开发页面,按照下图操作,进入新建表对话框。
- 在新建表对话框,配置参数。
参数 |
描述 |
表类型 |
选择镜像表。 |
表名 |
命名规则如下:
- 英文字符、数字、下划线(_)。
- 首字符不能为数字。
- 不能超过64个字符。
|
存储目录 |
默认选择的是表管理。同时您也可以在表管理页面创建目标文件夹后,选择该目标文件夹为镜像表的目录。 |
描述 |
填写简单的描述。 |
- 配置完成后,单击确定。
- 在主表开发页面,添加字段。
系统支持
SQL
导入字段、批量导入字段和单行导入字段的方式,新建主表字段:
- SQL语句导入字段。
- 单击SQL导入字段。
- 在SQL导入对话框,单击参考示例,查看代码示例,编写导入字段的代码,代码示例如下。
create table dwi_pub_hbd_cate_mtr (
rowkey VARCHAR comment 'rowkey',
stat_date VARCHAR comment 'stat_date',
keymin VARCHAR comment 'keymin',
PRIMARY KEY(rowkey)
)
- 单击确定。
- 批量导入字段。
- 单击批量导入。
- 在批量导入对话框,查看代码示例,编写批量导入字段的代码,代码示例如下。
rowkey||VARCHAR||rowkey
rowkey1||VARCHAR||rowkey1
rowkey2||VARCHAR||rowkey2
stat_date||VARCHAR||stat_date
keymin||VARCHAR||keymin
- 单击确定。
- 单行添加字段。
- 单击单行添加。
- 在单行添加对话框,填写字段名和描述,选择字段类型。
- 单击确定。
如果您已添加了字段,还需继续添加字段,则单击主表显示框右上方的图标后,选择添加字段的方式。
步骤二:关联实时表和离线表
- 在主表开发页面,单击选择关联表。
- 在新建关联关系对话框,填写关联的实时表和离线表。
关联表 |
参数 |
描述 |
关联实时表 |
选择项目 |
选择关联实时表的项目。 |
选择实时表 |
选择实时表。 |
关联离线表 |
选择项目 |
选择关联离线表的项目。 |
选择离线表 |
选择离线表。 |
- 单击确定。
- 在镜像表开发页面,单击连线上的图标,在替换关联关系对话框,填写关联的实时表和离线表。
说明 创建文件后,单击连线上的
图标,在
替换关联关系对话框,单击
确定,删除已关联的替换关联关系。
关联表 |
参数 |
描述 |
关联实时表 |
选择项目 |
选择关联实时表的项目。 |
选择实时表 |
选择实时表 |
关联离线表 |
选择项目 |
选择关联离线表的项目。 |
选择离线表 |
选择离线表 |
- 单击确定。
- 关联字段。
您可以通过以下方式,关联字段:
- 手动关联
选中实时表或离线表中需要关联的字段后,单击主表中需要关联的字段。关联后的字段使用连线连接。
您也可以单击连线上的后,在删除字段关联对话框,单击确定,删除已关联的字段。
- 自动关联
单击页面上方的自动关联,系统会自动关联镜像表与实时表和离线表同名的字段,并生成连线。
如果已有关联字段,则自动关联会导致原有连线会被覆盖。
- 批量关联
- 单击页面上方的批量关联。
- 在批量关联对话框,单击参考示例。参考示例编写关联字段的代码。
镜像表字段,实时表字段,离线表字段
镜像表字段,实时表字段,离线表字段
镜像表字段,实时表字段,离线表字段
- 单击确定。
步骤三:预览镜像关系
在镜像表开发页面,页面右侧为您展示镜像关系预览面板。在镜像关系预览面板,查看实时表、离线表和镜像表之间的映射关系。
如果您已关闭了镜像关系预览面板,则单击页面右上方的图标,打开镜像关系预览面板。
步骤四:提交或发布镜像表
- 在镜像表开发页面,单击页面上方的图标,保存镜像表。
- 单击页面上方的图标。
- 在提交备注对话框,填写备注信息。
- 单击确定并提交。
- 可选:发布镜像表至生产环境。
根据当前项目的开发模式,选择是否需要镜像表:
- 如果项目为Basic模式,则无需发布镜像表,提交成功的镜像表即可进入生产环境。
- 如果项目为Dev-Prod模式,则需要发布镜像表至生产环境。