本文将为您介绍如何对数据表进行创建、提交和查询等操作,以及数据分层的基础知识。

新建表

  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. 单击左侧导航栏中的表管理
  3. 表管理页面,单击新建
  4. 新建表对话框中,输入表名,单击提交
  5. 对表进行相关配置,详情请参见

提交表

编辑完表结构信息后,即可提交到开发环境和生产环境。
参数 描述
从开发环境加载 如果该表已经提交到开发环境之后,该按钮会高亮。单击后,会用开发环境已经创建的表信息覆盖当前的页面信息。
提交到开发环境 首先会检查当前编辑页面的必填项是否已经填写完整,如果有遗漏会告警,禁止提交。
从生产环境加载 已经提交到生产环境的表的详细信息会覆盖当前页面。
提交到生产环境 会在生产环境的project中创建这张表。

表分类查询

表管理查询支持开发环境、生产环境的筛选条件,查询结果以文件夹为主题展示。分类
  • 开发环境:仅查询开发环境的表。
  • 生产环境:仅查询生产环境的表,生产环境表请谨慎操作。
说明tmp_pyodps开头的表为PyODPS在执行过程中产生的临时表,不会被自动删除。您可以通过使用脚本或SQL语句定期清除PyODPS临时表。

修改表名

您的表在创建之后,如果还未提交,可以通过在图形界面删除重建的方式修改表名。如果已经提交表到开发或生产环境,您可以通过MaxCompute客户端,使用ALTER语句修改表名。

数仓分层

表管理中的物理模型设计用于为您构建您的数仓分层,让您在管理数据时能对数据有更加清晰的规划和掌控。ODS(Operational Data Store)、CDM(Common Data Model)和ADS(Application Data Service)三个层级是常见的数仓分层方法。
  • ODS数据运营层
    ODS数据运营层用于操作数据存储,是最接近数据源中的数据的一层。数据源中的数据,经过抽取、洗净、传输(ETL)之后导入本层。ODS的数据通常可按照源头业务系统的分类方式而分类。
    说明 ODS层的数据不等同于原始数据。在源数据装入这一层时,要进行诸如去噪、去重、去除脏数据、业务提取和单位统一等多项工作。
  • CDM数据仓库层

    CDM数据仓库层是数据仓库的主体。在CDM层,从ODS层中获得的数据,根据主题建立各种数据模型。

  • ADS数据产品层

    ADS数据产品层提供数据产品、数据挖掘和数据分析使用的数据结果,供线上系统使用。例如报表数据或宽表,通常存放在ADS层。