镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。

背景信息

如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您在开发计算任务时只需要引用镜像表，系统会为您自动生成实时实例和离线实例，提高了计算任务的研发效率。

步骤一：新建镜像表

  1. 登录Dataphin控制台。
  2. 在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
  3. 在Dataphin首页，单击研发。
  4. 在数据开发页面，按照下图操作，进入新建表对话框。
    1
  5. 在新建表对话框，配置参数。
    gagaga
    参数 描述
    表类型 选择镜像表。
    表名 命名规则如下：
    • 英文字符、数字、下划线（_）。
    • 首字符不能为数字。
    • 不能超过64个字符。
    存储目录 默认选择的是表管理。同时您也可以在表管理页面创建目标文件夹后，选择该目标文件夹为镜像表的目录。2
    描述 填写简单的描述。
  6. 配置完成后，单击确定。
  7. 在主表开发页面，添加字段。
    1系统支持SQL导入字段、批量导入字段和单行导入字段的方式，新建主表字段：
    • SQL语句导入字段。
      1. 单击SQL导入字段。
      2. 在SQL导入对话框，单击参考示例，查看代码示例，编写导入字段的代码，代码示例如下。
        create table dwi_pub_hbd_cate_mtr (
  rowkey VARCHAR comment 'rowkey',
  stat_date VARCHAR comment 'stat_date',
  keymin VARCHAR comment 'keymin',
  PRIMARY KEY(rowkey)
)
      3. 单击确定。
    • 批量导入字段。
      1. 单击批量导入。
      2. 在批量导入对话框，查看代码示例，编写批量导入字段的代码，代码示例如下。
        rowkey||VARCHAR||rowkey
rowkey1||VARCHAR||rowkey1
rowkey2||VARCHAR||rowkey2
stat_date||VARCHAR||stat_date
keymin||VARCHAR||keymin
      3. 单击确定。
    • 单行添加字段。
      1. 单击单行添加。
      2. 在单行添加对话框，填写字段名和描述，选择字段类型。
      3. 单击确定。

    如果您已添加了字段，还需继续添加字段，则单击主表显示框右上方的gege图标后，选择添加字段的方式。

步骤二：关联实时表和离线表

  1. 在主表开发页面，单击选择关联表。
    1
  2. 在新建关联关系对话框，填写关联的实时表和离线表。
    gagaga
    关联表 参数 描述
    关联实时表 选择项目 选择关联实时表的项目。
    选择实时表 选择实时表。
    关联离线表 选择项目 选择关联离线表的项目。
    选择离线表 选择离线表。
  3. 单击确定。
  4. 在镜像表开发页面，单击连线上的1图标，在替换关联关系对话框，填写关联的实时表和离线表。
    说明 创建文件后，单击连线上的1图标，在替换关联关系对话框，单击确定，删除已关联的替换关联关系。
    1
    关联表 参数 描述
    关联实时表 选择项目 选择关联实时表的项目。
    选择实时表 选择实时表
    关联离线表 选择项目 选择关联离线表的项目。
    选择离线表 选择离线表
  5. 单击确定。
  6. 关联字段。
    您可以通过以下方式，关联字段：
    • 手动关联
      选中实时表或离线表中需要关联的字段后，单击主表中需要关联的字段。关联后的字段使用连线连接。gagaga

      您也可以单击连线上的gag后，在删除字段关联对话框，单击确定，删除已关联的字段。

    • 自动关联

      单击页面上方的自动关联，系统会自动关联镜像表与实时表和离线表同名的字段，并生成连线。

      如果已有关联字段，则自动关联会导致原有连线会被覆盖。

    • 批量关联
      1. 单击页面上方的批量关联。
      2. 在批量关联对话框，单击参考示例。参考示例编写关联字段的代码。
        镜像表字段,实时表字段,离线表字段
镜像表字段,实时表字段,离线表字段
镜像表字段,实时表字段,离线表字段
      3. 单击确定。

步骤三：预览镜像关系

在镜像表开发页面，页面右侧为您展示镜像关系预览面板。在镜像关系预览面板，查看实时表、离线表和镜像表之间的映射关系。

如果您已关闭了镜像关系预览面板，则单击页面右上方的gegeg图标，打开镜像关系预览面板。

步骤四：提交或发布镜像表

  1. 在镜像表开发页面，单击页面上方的1图标，保存镜像表。
  2. 单击页面上方的1图标。
  3. 在提交备注对话框，填写备注信息。
  4. 单击确定并提交。
  5. 可选：发布镜像表至生产环境。
    根据当前项目的开发模式，选择是否需要镜像表：
    • 如果项目为Basic模式，则无需发布镜像表，提交成功的镜像表即可进入生产环境。
    • 如果项目为Dev-Prod模式，则需要发布镜像表至生产环境。