文档

创建数据板块

更新时间:

数据板块是逻辑空间的重要组成部分,是基于业务特征划分的命名空间。在使用规范建模前,您需要完成数据板块的创建。本文为您介绍如何新建数据板块。

前提条件

  • 仅支持智能研发版。若需使用,请升级当前版本。升级版本,请参见升级

  • 在开始执行操作前,请确认您已将数据板块架构师业务负责人数据负责人添加至Dataphin成员列表。具体操作请参见添加Dataphin成员

权限说明

仅支持超级管理员系统管理员新建数据板块。

功能概述

为了更好地满足业务诉求,Dataphin支持创建Dev-Prod模式或Basic模式的数据板块。

  • Dev-Prod模式:生成相互隔离的Dev环境和Prod环境,加强保障Prod环境的数据安全。如果您管理诉求较强,数据研发人员较多且能力及分工明确,数据计算存储预算较高,推荐使用此模式。

  • Basic模式:生成开发与运维一体化的Prod环境,数据生产过程稳定且便捷。如果您关注数据研发效率,研发人员职能边界模糊,计算存储预算有限制,推荐使用此模式。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的规划。默认进入数据架构页面。

  2. 数据架构页面,单击+新建数据板块image

  3. 新建数据板块配置向导页面,配置数据板块信息。

    1. 步骤一:选择生产开发类型。

      1. 根据您的实际需求,选择对应生产开发类型

        • Dev-Prod 模式如您管理诉求较强,数据研发人员较多且能力及分工明确,数据计算存储预算较高,推荐此模式。Dev环境和Prod环境逻辑隔离,可加强对数据研发流程的管控,强控制生产数据的权限,最大化保障数据生产稳定性。但是研发流程灵活及便捷性较低,对研发人员工具使用熟练度要求较高,需要配置双份计算存储资源。

        • Basic 模式如您关注数据研发效率而非强管控,研发人员职能边界相对模糊,计算存储预算有限制,推荐此模式。开发与运维一体化的Prod环境,可敏捷管理数据研发流程,强控制生产数据的写权限,平衡数据生产稳定性与灵活性。Basic模式存在直接变更生产环境的风险,请谨慎管理项目成员,控制生产数据稳定性。

          重要

          生产开发类型若选择Basic 模式,数据板块创建完成后则不支持升级为Dev-Prod 模式

      2. 单击下一步

    2. 步骤二:配置板块定义。

      1. 参考下方表格,配置数据板块的基础信息和业务信息。

        参数

        描述

        基础信息

        板块英文名

        数据板块英文名。命名规则如下:

        • 只能包含英文字母大小写、数字和下划线(_)。

        • 长度不超过64个字符。

        完成数据板块创建后,Dev环境中数据板块的英文名格式为LD_{自定义的板块英文名}_dev

        后续如果数据板块内已有逻辑表产生,不可编辑英文名,以避免影响数据生产。

        板块名称

        数据板块名称。命名规则如下:

        • 只能包含中文、数字、英文字母大小写、下划线(_)和短划线(-)。

        • 长度不超过64个字符。

        完成数据板块创建后,Dev环境中数据板块的名称格式为{自定义的板块名称}_开发

        描述信息(非必填)

        填写对数据板块的简单描述,长度不超过128个字符。

        图标

        数据板块的图标便于您进行业务分类,对于后续数据的计算没有影响。

        支持选择的图标包括电商图标)、金融图标)、云计算图标)、广告营销图标)、物流图标)、文娱图标)、出行图标)、健康图标)、社交&通信图标)、餐饮图标)、教育图标)和环境图标)。

        业务信息

        板块架构师

        负责板块信息设置,包括更新基本信息、业务信息等。支持选择Dataphin成员列表的所有正常使用的成员。

        业务负责人

        (非必选)

        负责板块数据的稳定性。支持在列表中选择最多3位成员。

        数据负责人(非必选)

        负责板块数据的质量。支持在列表中选择最多3位成员。

      2. 单击下一步

    3. 步骤三:配置逻辑表命名规范。

      新建逻辑表时,系统基于逻辑表命名规范自动预生成推荐的逻辑表名称,您可以编辑为其他任意名称。

      说明

      数据板块创建后,可以在数据板块的研发规范->表规范->逻辑表命名规范进行编辑。修改表前缀将对同一个逻辑表大类的全部子类型生效。例如,修改维度逻辑表大类,将对普通维度逻辑表、层级维度逻辑表等子类型生效。

      默认的命名规范与后缀如下:

      逻辑表类型

      默认值

      维度逻辑表

      • 表前缀dim_

      • 数据时效(后缀):

        • 普通维度逻辑表:

          • 天(T+1):无。

          • 小时(T+h):_hf

          • 分钟(T+m):_mf

        • 层级维度逻辑表:

          • 天(T+1):层级lvl[n][n]为层级数。

        • 枚举维度逻辑表虚拟维度逻辑表

          • 天(T+1):无。

      事实逻辑表

      • 表前缀fct_

      • 数据时效(后缀):

        • 流程事实逻辑表

          • 天(T+1):无。

        • 事件事实逻辑表:

          • 天(T+1):_di

          • 小时(T+h):_hi

          • 分钟(T+m):_mi

        • 快照事实逻辑表:

          • 天(T+1):_df

          • 小时(T+h):_hf

          • 分钟(T+m):_mf

      • 主题域缩写:默认关闭,开启将默认补充主题域缩写。

      汇总逻辑表

      • 表前缀dws_

      • 数据时效(后缀):

        • 天(T+1):无。

        • 小时(T+h):_hh

        • 分钟(T+m):_mm

  4. 单击确定,完成数据板块的创建。

后续步骤

完成数据板块创建后,需要为数据板块创建主题域。具体操作请参见创建主题域