数据分层是结合对业务场景、实际数据、使用系统的综合分析,对数据模型进行的整体架构设计及物理层的详细划分。用于将不同用途的数据,归类划分至不同的分层,便于您更好地组织、管理、维护数据。本文为您介绍如何创建并管理数据分层。

背景信息

数据仓库是所有数据的集合,包括日志信息、数据库数据、文本数据、外部数据等都集成在数据仓库中。数据分层、数据域、业务过程三大要素,共同确定了您此次建模的逻辑数仓架构。数据分层保障了数据在进入数据仓库之前都经过清洗和过滤,使原始数据不再杂乱无章,优化了查询过程,有效的提高了数据获取、统计和分析的效率。同时,数据分层实现了各种不同维度数据的关联,使多维分析更加方便,为从多角度、多层次地数据分析和决策制定提供便捷。

规划数据分层

您可以根据实际业务需求,规划您数据模型的分层。

DataWorks的数据分层功能,默认为您创建了数据引入层ODS(Operational Data Store)公共维度层DIM(Dimension)明细数据层DWD(Data Warehouse Detail)汇总数据层DWS(Data Warehouse Summary)应用数据层ADS(Application Data Service)等五层,各个分层的功能介绍如下:
  • 数据引入层 ODS(Operational Data Store)
    ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构与原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。ODS层对原始数据的操作具体如下:
    • 将原始的结构化数据增量或全量同步至数据仓库中。
    • 将原始的非结构化数据(例如,日志信息)进行结构化处理,并存储至MaxCompute。
    • 根据实际业务需求,记录原始数据的历史变化或对原始数据进行简单的清洗。
    ODS层的数据表,命名必须以ods开头,并且生命周期为366天。
  • 明细数据层 DWD(Data Warehouse Detail)

    DWD层通过企业的业务活动事件构建数据模型。基于具体业务事件的特点,构建最细粒度的明细数据表。您可以结合企业的数据使用特点,将明细数据表的某些重要维度属性字段适当冗余,即宽表化处理。同时,也可以减少明细数据表及维度表的关联,提高明细表的易用性。

  • 汇总数据层 DWS(Data Warehouse Summary)

    DWS层通过分析的主题对象构建数据模型。基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表。

    例如,从ODS层中对用户的行为做一个初步的归类汇总,抽象出来一些通用的维度,假设维度为时间IPID,并根据这些维度统计出相关数据,比如用户每个时间段在不同登录IP购买的商品数。则在DWS层可以进一步添加一层轻度的汇总,可以让计算更加的高效。例如在此基础上计算仅7天、30天、90天的行为会节省很多时间。

  • 应用数据层 ADS(Application Data Service)

    ADS层用于存放数据产品个性化的统计指标数据,输出各种报表。例如,某电商企业,在6月9日至6月19日,杭州地域出售的各大球类商品的数量及排行情况。

  • 公共维度层 DIM(Dimension)

    DIM层使用维度构建数据模型。基于实际业务,通过定义维度,确定维度主键,添加维度属性,关联不同维度等操作,构建整个企业的一致性数据分析维表,帮助您降低数据计算口径和算法不统一的风险。

创建数据分层

系统已默认为您创建了五个分层(ODS层、DIM层、DWD层、DWS层、ADS层)可以满足绝大部分的场景和需求,如您存在部分需要个性化处理的场景,可参见如下步骤创建新的数据分层。

个性化处理的场景示例:抽象出TMP(临时表)层,在创建表的时候严格的将表归属到对应的分层中,对每个分层设定一些标准和校验规则,譬如命名规范、生命周期设置等。

  1. 进入数据建模
  2. 进入数据分层页面。
    数据建模单击顶部导航栏右侧的数仓规划,在数仓规划页单击左侧数据分层
  3. 创建分层。
    1. 单击+新建分层,在新建数据分层对话框配置分层的基本信息。新建分层
      参数 描述
      英文缩写 目标数据分层的英文缩写,唯一标识数据分层。

      英文缩写由英文字母、数字、下划线(_)组成,并且以英文字母开头,最大长度为128字符。

      英文名 目标数据分层的英文名称。

      英文名称由英文字母、数字、下划线(_)、and(&)组成,并且以英文字母或数字开头,最大长度为2048字符。

      中文名 目标数据分层的中文名称。

      中文名称由中文、英文字母、数字、下划线(_)、and(&)、英文括号组成,并且由中文、英文字母或数字开头,最大长度为2048字符。

      责任人 创建数据仓库分层的负责人。系统创建的数仓分层负责人是当前工作空间的负责人。
      备注 目标数据分层的备注信息。您可以输入目标数据分层的功能描述,方便您快速了解每个分层的功能作用,将对应业务数据存放至合适的分层。

      最大长度为2048字符。

  4. 单击确认,完成创建。

后续步骤

数据分层创建完成后,您需要创建数据分层检查器,用于规范数据分层中表的命名规范,详情请参见配置数据分层检查器