镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。

背景信息

如果Flink任务的生效模式为实时和离线,则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表,镜像表映射了实时表和离线表。您在开发计算任务时只需要引用镜像表,系统会为您自动生成实时实例和离线实例,提高了计算任务的研发效率。

步骤一:新建镜像表

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
    您可以通过以下方式,快速进入工作区:
    • 选择工作区地域后,单击快速开始相关工作区域中的数据研发
    • 选择工作区地域后,单击快速进入研发项目后的DevBasic页签,选择相应的项目。
    说明
    • 如果您通过快速开始相关工作进入数据开发模块,则跳过步骤3.i。
    • 如果您通过快速进入研发项目进入数据开发模块,则跳过步骤3.ii。
  3. 进入表管理页面。
    1. 在Dataphin首页,单击顶部菜单栏的研发
    2. 在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 在数据开发页面,单击数据处理
    4. 数据处理页签,单击左侧导航栏vrdho表管理图标。
  4. 表管理页面,您可以通过以下方式,进入新建镜像表对话框。
    • 单击表管理后的图标后,选择镜像表
    • 单击项目名称后的图标,选择数据处理 > > 镜像表
  5. 新建镜像表对话框,配置镜像表名称选择目录描述
  6. 单击确定
  7. 在主表开发页面,添加字段。
    系统支持SQL导入字段、批量导入字段和单行导入字段的方式,新建主表字段:
    • SQL语句导入字段。
      1. 单击SQL导入字段
      2. SQL导入对话框,单击参考示例,查看代码示例,编写导入字段的代码,代码示例如下。
        create table dwi_pub_hbd_cate_mtr (
          rowkey VARCHAR comment 'rowkey',
          stat_date VARCHAR comment 'stat_date',
          keymin VARCHAR comment 'keymin',
          PRIMARY KEY(rowkey)
        )
      3. 单击确定
    • 批量导入字段。
      1. 单击批量导入
      2. 批量导入对话框,查看代码示例,编写批量导入字段的代码,代码示例如下。
        rowkey||VARCHAR||rowkey
        rowkey1||VARCHAR||rowkey1
        rowkey2||VARCHAR||rowkey2
        stat_date||VARCHAR||stat_date
        keymin||VARCHAR||keymin
      3. 单击确定
    • 单行添加字段。
      1. 单击单行添加
      2. 单行添加对话框,填写字段名描述,选择字段类型
      3. 单击确定

    如果您已添加了字段,还需继续添加字段,则单击主表显示框右上方的gege图标后,选择添加字段的方式。

步骤二:关联实时表和离线表

  1. 在主表开发页面,单击选择关联表
    gagag
  2. 新建关联关系对话框,填写关联的实时表和离线表。
    test
    关联表 参数 描述
    关联实时表 选择项目 选择关联实时表的项目。
    选择实时表 选择实时表。
    关联离线表 选择项目 选择关联离线表的项目。
    选择离线表 选择离线表。
  3. 单击确定
  4. 关联字段。
    您可以通过以下方式,关联字段:
    • 手动关联
      选中实时表或离线表中需要关联的字段后,单击主表中需要关联的字段。关联后的字段使用连线链接。teag

      您也可以单击连线上的gag后,在删除字段关联对话框,单击确定,删除已关联的字段。

    • 自动关联

      单击页面上方的自动关联,系统会自动关联镜像表与实时表和离线表同名的字段,并生成连线。

      如果已有关联字段,则自动关联会导致原有连线会被覆盖。

    • 批量关联
      1. 单击页面上方的批量关联
      2. 批量关联对话框,单击参考示例。参考示例编写关联字段的代码。
        镜像表字段,实时表字段,离线表字段
        镜像表字段,实时表字段,离线表字段
        镜像表字段,实时表字段,离线表字段
      3. 单击确定

步骤三:预览镜像关系

在镜像表开发页面,页面右侧为您展示镜像关系预览面板。在镜像关系预览面板,查看实时表、离线表和镜像表之间的映射关系。

如果您已关闭了镜像关系预览面板,则单击页面右上方的gegeg图标,打开镜像关系预览面板。

步骤四:提交或发布镜像表

  1. 在镜像表开发页面,单页页面上方的teag图标,保存镜像表。
  2. 单击页面上方的tewst图标。
  3. 提交备注对话框,填写备注信息。
  4. 单击确定并提交
  5. 可选:发布镜像表至生产环境。
    根据当前项目的开发模式,选择是否需要镜像表:
    • 如果项目为Basic模式,则无需发布镜像表,提交成功的镜像表即可进入生产环境。
    • 如果项目为Dev-Prod模式,则需要发布镜像表至生产环境。