普通维度逻辑表用于描述实体对象,包含对实体对象的各方面描述。例如会员普通维度逻辑表,包含会员名称、会员ID、会员邮件等数据。本文为您介绍如何创建并配置普通维度逻辑表。

前提条件

在开始执行操作前,请确认您已满足以下条件:

步骤一:创建维度逻辑表

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击顶部菜单栏的研发
    默认进入数据开发页面。
  4. 在数据开发页面,按照下图操作指引,进入新建维度逻辑表配置向导页面。
    fagaga①区域选择规范建模研发的项目空间,如果您选择了Dev-Prod模式的项目空间,则需要在区域②选择为Dev
  5. 新建维度逻辑表配置向导页面,完成以下操作。
    1. 基本信息页面,配置参数后,单击下一步
      gagag
      参数 描述
      表类型 选择普通维度逻辑表
      业务对象 选择已创建的业务对象。
      数据板块 默认为项目关联的数据板块,不支持修改。
      主题域 默认为业务对象所在的主题域,不支持修改。
      数据时效 数据时效用于定义后续该维度逻辑表的数据时效。普通维度逻辑表的数据时效支持选择T+1(天表)、T+h(小时表)和T+m(分钟表)。
      逻辑表名 Dataphin自动填充逻辑表名,不支持修改。命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>
      根据上述选择的数据时效,<数据时效>展示信息不同,详细说明如下:
      • 上述数据时效选择为T+1,则<数据时效>df
      • 上述数据时效选择为T+h,则<数据时效>hf
      • 上述数据时效选择为T+m,则<数据时效>mf
      中文名称 命名规则如下:
      • 不能超过128个字符。
      • 支持任何字符。
      描述信息 填写对维度逻辑表的简单描述。
    2. 逻辑信息页面,配置维度逻辑表的来源数据与主键间的映射关系后,单击下一步
      gagag
      参数 描述
      英文名 默认为业务对象的对象主键英文名称,不可以修改。
      数据类型 根据业务情况进行选择。推荐您选择Bigint。
      字段名称 默认为业务过程的名称,您也可以修改字段名称,命名规则如下:
      • 不能超过128个字符。
      • 支持任何字符。
      主键计算逻辑 定义主键字段的来源字段,主键对应的来源表就是逻辑表的来源主表。主键对应的数据量决定逻辑表的总数据量(记录数),定义语句如下例。
      select order_id
      from onedata.s_order
      where ds='${bizdate}' and is_pay='Y'
    3. 物化信息页面,配置维度逻辑表的存储生命周期及分区字段后,单击确定
      gagaga
      参数 描述
      分区字段 根据选择的数据时效不同,展示默认的分区字段不同。详细说明如下:
      • 数据时效选择为离线T+1,则分区字段默认为ds。
      • 数据时效选择为离线T+h,则分区字段默认为ds和hh。
      • 数据时效选择为离线T+m,则分区字段默认为ds、hh和mm。
      同时您也可以根据业务情况,新增自定义分区字段。
      生命周期 定义维度逻辑表的生命周期,默认为36000天,您可以快速选择7、14、30或360天,也可以自定义生命周期没有最大限制。
    完成维度逻辑表创建后,默认进入该维度逻辑表的配置页面。gagaga

步骤二:为维度逻辑表创建字段

  1. 在上述创建的维度逻辑表的配置页面,单击新建字段
    gagag
  2. 添加字段对话框,添加字段。
    您可以通过引入字段SQL自定义字段的方式,为维度逻辑表添加字段:
    • 引入字段:按照下图操作指引,为维度逻辑表引入某物理表的字段。gagaga来源表关联逻辑字段数据过滤条件的详细说明请参见下表。
      参数 描述
      来源表 支持选择当前租户下所有具有读取权限的物理表(非Dataphin自动生成的物理表)。

      如何获取物理表的读取权限,请参见申请、续期和交还表权限

      关联逻辑字段 支持选择来源表的所有字段。选择的关联逻辑字段与维度逻辑表的主键进行等值关联。
      数据过滤条件 您可以对来源表字段定义数据过滤条件。
      添加至新建字段区域后,您可以根据业务情况编辑字段的名称及类型。
    • SQL自定义字段:按照下图操作指引,为维度逻辑表新建字段。gagag您可以根据业务需求通过SQL自定义字段作为维度逻辑表的字段。
      select id as k  --as k标识主键关联字段
             ,pay_amt --度量字段
      from onedata.s_order_ext  --字段逻辑
      where type=0 and pt='${bizdate}'

步骤三:添加关联维度

  1. 在维度逻辑表的配置页面,鼠标悬停至需要关联维度的字段后,单击gagag图标。
    gagaga
  2. 编辑模型关系对话框,配置参数。
    gagag
    区域 参数 描述
    字段默认值 如果主表(当前维度逻辑表)和需要关联的维度逻辑表表关联不上,则Dataphin自动对关联字段补值为-110
    关联维度 关联维度 选择您已创建的维度。
    选择了维度后,页面为您展示维度类型,同时您可以按照下图操作指引,查看维度逻辑表的计算逻辑。gagag
    编辑关联逻辑 关联逻辑 默认展示需要关联维度的字段及关联的维度逻辑表的主键,不支持修改。
    维表版本策略 定义主表(当前维度逻辑表)与关联维度逻辑表的分区,默认使用与当前维度逻辑表相同调度周期。更多说明如下:
    • 使用同周期维度(主表与维表使用同周期分区):主表和关联维度逻辑表计算时使用相同周期的时间分区。

      例如,业务日期是20220110,需要查询主表的ds=20220101分区的数据,同时关联维度逻辑表的时间分区也是2020101,则就需要选择为使用同周期维表。

    • 使用最新维表(维表使用最新分区):数据计算时使用最新关联维度逻辑表的最新分区。

      例如,某商品类目经常会调整,10天前是手机类目,今天是电器类目。如果业务上需要按照电器类目重跑10天前的数据,则维表版本策略需要选择为使用最新维表(维表使用最新分区)

    缺联策略 缺联策略用于定义来源主表(左表)中存在的字段,但在维度逻辑表(右表)中不存在的字段,即无法关联的字段的计算逻辑。您可以选择保留原始缺联数据缺联数据使用默认值代替
    • 保留原始缺联数据: 创建派生指标时,保留左表原始数据。
    • 缺联数据使用默认值代替:主表中的字段没有与维度逻辑表关联上,则使用默认值-110。
    编辑维度角色 角色英文名角色名称 维度角色具有维度别名作用。多次引用同一维度时不可重名定义,起到角色扮演效果。您需要定义角色英文名角色名称
    • 角色英文名的前缀默认为dim,自定义部分的命名规则为:
      • 包含字母、数字或下划线(_)。
      • 不能超过64个字符。
    • 角色名称的命名规则:
      • 包含汉字、数字、字母、下划线(_)或短划线(-)。
      • 不能超过64个字符。
    配置完成后,为您展示主表与关联维度逻辑表的关联关系。gagag同时您也可以按照下图操作指引,删除该关联关系。gagaga

步骤四:提交普通维度逻辑表

  1. 按照下图操作指引,提交普通维度逻辑表。
    gagagag
  2. 如果项目的模式为Dev-Prod,则您需要发布普通维度逻辑表至生产环境。具体操作,请参见管理发布任务

后续步骤

完成维度逻辑表创建后,需要为维度逻辑表配置依赖关系,具体操作请参见维度与事实逻辑表调度配置