新建镜像表

镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。

背景信息

如果Flink任务的生效模式为实时和离线,则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表,镜像表映射了实时表和离线表。您在开发计算任务时只需要引用镜像表,系统会为您自动生成实时实例和离线实例,提高了计算任务的研发效率。

步骤一:新建镜像表

  1. 在Dataphin首页,单击顶部菜单栏研发

  2. 按照下图操作指引,进入实时计算表对话框。

    image

  3. 新建表对话框,配置参数。

    参数

    描述

    表类型

    选择镜像表

    表名

    命名规则如下:

    • 英文字符、数字、下划线(_)。

    • 首字符不能为数字。

    • 不能超过64个字符。

    存储目录

    默认选择的是表管理。同时您也可以在表管理页面创建目标文件夹后,选择该目标文件夹为镜像表的目录。image

    描述

    填写简单的描述,1000个字符以内。

  4. 配置完成后,单击确定

  5. 在主表开发页面,添加字段。

    系统支持SQL导入字段、批量导入字段和单行导入字段的方式,新建主表字段:

    • SQL语句导入字段。

      1. 单击SQL导入字段

      2. SQL导入对话框,单击参考示例,查看代码示例,编写导入字段的代码,代码示例如下。

        create table dwi_pub_hbd_cate_mtr (
          rowkey VARCHAR comment 'rowkey',
          stat_date VARCHAR comment 'stat_date',
          keymin VARCHAR comment 'keymin',
          PRIMARY KEY(rowkey)
        )
      3. 单击确定

    • 批量导入字段。

      1. 单击批量导入

      2. 批量导入对话框,查看代码示例,编写批量导入字段的代码,代码示例如下。

        rowkey||VARCHAR||rowkey
        rowkey1||VARCHAR||rowkey1
        rowkey2||VARCHAR||rowkey2
        stat_date||VARCHAR||stat_date
        keymin||VARCHAR||keymin
      3. 单击确定

    • 单行添加字段。

      1. 单击单行添加

      2. 单行添加对话框,填写字段名描述,选择字段类型

      3. 单击确定

    如果您已添加了字段,还需继续添加字段,则单击主表显示框右上方的gege图标后,选择添加字段的方式。

步骤二:关联实时表和离线表

  1. 在主表开发页面,单击选择关联表

    image

  2. 新建关联关系对话框,填写关联的实时表和离线表。

    关联表

    参数

    描述

    关联实时表

    选择项目

    选择关联实时表的项目。

    选择实时表

    选择实时表。

    关联离线表

    选择项目

    选择关联离线表的项目。

    选择离线表

    选择离线表。

  3. 单击确定

  4. 在镜像表开发页面,单击连线上的1图标,在替换关联关系对话框,填写关联的实时表和离线表。

    说明

    创建文件后,单击连线上的1图标,在替换关联关系对话框,单击确定,删除已关联的替换关联关系。

    关联表

    参数

    描述

    关联实时表

    选择项目

    选择关联实时表的项目。

    选择实时表

    选择实时表

    关联离线表

    选择项目

    选择关联离线表的项目。

    选择离线表

    选择离线表

  5. 单击确定

  6. 关联字段。

    您可以通过以下方式,关联字段:

    • 手动关联

      选中实时表或离线表中需要关联的字段后,单击主表中需要关联的字段。关联后的字段使用连线连接。image.png

      您也可以单击连线上的gag后,在删除字段关联对话框,单击确定,删除已关联的字段。

    • 自动关联

      单击页面上方的自动关联,系统会自动关联镜像表与实时表和离线表同名的字段,并生成连线。

      如果已有关联字段,则自动关联会导致原有连线会被覆盖。

    • 批量关联

      1. 单击页面上方的批量关联

      2. 批量关联对话框,单击参考示例。参考示例编写关联字段的代码。

        镜像表字段,实时表字段,离线表字段
        镜像表字段,实时表字段,离线表字段
        镜像表字段,实时表字段,离线表字段
      3. 单击确定

步骤三:预览镜像关系

在镜像表开发页面,页面右侧为您展示镜像关系预览面板。在镜像关系预览面板,查看实时表、离线表和镜像表之间的映射关系。

如果您已关闭了镜像关系预览面板,则单击页面右上方的gegeg图标,打开镜像关系预览面板。

步骤四:提交或发布镜像表

  1. 在镜像表开发页面,单击页面上方的1图标,保存镜像表。

  2. 单击页面上方的1图标。

  3. 提交备注对话框,填写备注信息。

  4. 单击确定并提交

  5. (可选)

    发布镜像表至生产环境。

    根据当前项目的开发模式,选择是否需要镜像表:

    • 如果项目为Basic模式,则无需发布镜像表,提交成功的镜像表即可进入生产环境。

    • 如果项目为Dev-Prod模式,则需要发布镜像表至生产环境。