元表帮助您统一配置与管理计算任务开发过程中用到的输入表、输出表、维表。本文为您介绍如何新建元表。
背景信息
- 元表只有在解锁的状态下,才支持编辑、移动、克隆和删除等操作。
- 如果元表已被您自己锁定,则无需解锁元表。
- 如果元表已被他人锁定,则执行以下操作,解锁元表:
- 在元表页面,单击需要编辑、移动、克隆或删除等操作的元表。
- 在元表的详情页面,单击右上方的
图标。
当
图标变更为
图标时,该实时元表解锁成功。
- 管理元表的权限限制,详情参见数据开发权限列表。
操作步骤
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
- 在Dataphin首页,单击研发。
- 在数据开发页面,按照下图操作,进入新建表对话框。
- 在新建表对话框,配置参数后,单击确定。
参数 描述 表类型 选择元表。 元表名称 命名规则如下: - 英文字符、数字、下划线(_)。
- 首字符不能为数字。
- 不能超过64个字符。
数据源 选择元表的数据来源。 选择目录 默认选择的是表管理。同时您也可以在表管理页面创建目标文件夹后,选择该目标文件夹为元表的目录。 描述 填写简单的描述。 - 可选:添加字段。
- 通过SQL导入的方式添加字段:
- 在实时元表页面,鼠标悬停至添加字段上,选择SQL导入。
- 在SQL导入对话框中,编写SQL代码,代码示例如下。
create table dwi_pub_hbd_cate_mtr ( rowkey VARCHAR comment 'rowkey', stat_date VARCHAR comment 'stat_date', keymin VARCHAR comment 'keymin', PRIMARY KEY(rowkey) ) with ( type='alihbase', diamondGroup='null', zkQuorum='hbasemaster74000.sg94.tbsite.net,hbasemaster74001.sg94.tbsite.net,hbasemaster74002.sg94.tbsite.net,hbase74000.sg94.tbsite.net,hbase74001.sg94.tbsite.net', diamondKey='null', zkNodeParent='/group-sg94-lzd-mix', columnFamily='info', tableName='dwi_pub_hbd_cate_mtr_001', stringWriteMod='true' );
- 单击确定,完成字段的添加。
- 通过批量导入的方式添加字段:
- 在实时元表页面,鼠标悬停至添加字段上,选择批量导入。
- 批量导入对话框中,编写代码,代码示例如下。
ID,INT,描述,false,true, name,INT,描述,false,true
- 单击确定。
- 通过单行添加的方式添加字段:
- 在实时元表页面,鼠标悬停至添加字段上,选择单行添加。
- 在单行添加对话框,配置参数。
- 单击确定,完成字段的添加。
同时,您可以对已添加的字段,执行如下操作。操作 描述 编辑 执行如下操作,编辑字段: - 在元表页面,单击操作列下的
图标。
- 根据编辑页面的提示,修改参数。
- 完成参数修改后,单击完成。
删除 执行如下操作,删除字段: - 在元表页面,单击操作列下的
图标。
- 在提示对话框中,单击确定并提交,完成字段的删除。
排序 执行如下操作,重新排序字段: - 在元表页面,单击排序。
- 根据页面提示,单击完成,完成字段的排序。
搜索 在搜索框中输入字段的名称或字段名称关键字进行搜索字段。 刷新 单击 图标,重新解析元表中的字段。
- 通过SQL导入的方式添加字段:
- 提交或发布元表。
- 按照下图操作指引,提交元表。
- 如果项目的模式为Dev-Prod,则您需要发布元表至生产环境。具体操作,请参见发布任务。
完成元表创建后,后续您就可以按照下图操作指引,配置和调试任务的数据表。调试测试配置参数 描述 任务调试时默认读取、开发环境测试时读取 设置任务调试时的默认读取和开发环境测试时读取的数据表,支持选择生产表和开发表。 如果选择可读取生产表,调试或测试时可读取对应的生产表数据据,存在数据泄漏风险,请谨慎操作。
若设置了任务调试时默认读取生产表或开发环境测试时读取生产表,则需申请个人账号的开发及生产数据源权限。如何申请数据源权限,请参见申请数据源权限。
开发环境测试时写入 支持选择当前来源表和其他测试表,如果选择其他测试表,则需要选择表。 - 按照下图操作指引,提交元表。