普通维度逻辑表用于描述实体对象,包含对实体对象的各方面描述。例如会员普通维度逻辑表,包含会员名称、会员ID、会员邮件等数据。本文为您介绍如何创建并配置普通维度逻辑表。
前提条件
步骤一:创建维度逻辑表
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
- 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。
- 在数据开发页面,按照下图操作指引,进入新建维度逻辑表配置向导页面。
①区域选择规范建模研发的项目空间,如果您选择了Dev-Prod模式的项目空间,则需要在区域②选择为Dev。
- 在新建维度逻辑表配置向导页面,完成以下操作。
- 在基本信息页面,配置参数后,单击下一步。
参数 描述 表类型 选择普通维度逻辑表。 业务对象 选择已创建的业务对象。 数据板块 默认为项目关联的数据板块,不支持修改。 主题域 默认为业务对象所在的主题域,不支持修改。 数据时效 数据时效用于定义后续该维度逻辑表的数据时效。普通维度逻辑表的数据时效支持选择T+1(天表)、T+h(小时表)和T+m(分钟表)。 逻辑表名 Dataphin自动填充逻辑表名,不支持修改。命名规则为 <数据板块名称>.dim_<业务对象名称>_<数据时效>
。根据上述选择的数据时效,<数据时效>
展示信息不同,详细说明如下:- 上述数据时效选择为T+1,则
<数据时效>
为df。 - 上述数据时效选择为T+h,则
<数据时效>
为hf。 - 上述数据时效选择为T+m,则
<数据时效>
为mf。
中文名称 命名规则如下: - 不能超过128个字符。
- 支持任何字符。
描述信息 填写对维度逻辑表的简单描述。 - 上述数据时效选择为T+1,则
- 在逻辑信息页面,配置维度逻辑表的来源数据与主键间的映射关系后,单击下一步。
参数 描述 英文名 默认为业务对象的对象主键英文名称,不可以修改。 数据类型 根据业务情况进行选择。推荐您选择Bigint。 字段名称 默认为业务过程的名称,您也可以修改字段名称,命名规则如下: - 不能超过128个字符。
- 支持任何字符。
主键计算逻辑 定义主键字段的来源字段,主键对应的来源表就是逻辑表的来源主表。主键对应的数据量决定逻辑表的总数据量(记录数),定义语句如下例。 select order_id from onedata.s_order where ds='${bizdate}' and is_pay='Y'
- 在物化信息页面,配置维度逻辑表的存储生命周期及分区字段后,单击确定。
参数 描述 分区字段 根据选择的数据时效不同,展示默认的分区字段不同。详细说明如下: - 数据时效选择为离线T+1,则分区字段默认为ds。
- 数据时效选择为离线T+h,则分区字段默认为ds和hh。
- 数据时效选择为离线T+m,则分区字段默认为ds、hh和mm。
生命周期 定义维度逻辑表的生命周期,默认为36000天,您可以快速选择7、14、30或360天,也可以自定义生命周期没有最大限制。
完成维度逻辑表创建后,默认进入该维度逻辑表的配置页面。 - 在基本信息页面,配置参数后,单击下一步。
步骤二:为维度逻辑表创建字段
- 在上述创建的维度逻辑表的配置页面,单击新建字段。
- 在添加字段对话框,添加字段。您可以通过引入字段和SQL自定义字段的方式,为维度逻辑表添加字段:
- 引入字段:按照下图操作指引,为维度逻辑表引入某物理表的字段。
来源表、关联逻辑字段及数据过滤条件的详细说明请参见下表。
参数 描述 来源表 支持选择当前租户下所有具有读取权限的物理表(非Dataphin自动生成的物理表)。 如何获取物理表的读取权限,请参见申请、续期和交还表权限。
关联逻辑字段 支持选择来源表的所有字段。选择的关联逻辑字段与维度逻辑表的主键进行等值关联。 数据过滤条件 您可以对来源表字段定义数据过滤条件。 - SQL自定义字段:按照下图操作指引,为维度逻辑表新建字段。
您可以根据业务需求通过SQL自定义字段作为维度逻辑表的字段。
select id as k --as k标识主键关联字段 ,pay_amt --度量字段 from onedata.s_order_ext --字段逻辑 where type=0 and pt='${bizdate}'
- 引入字段:按照下图操作指引,为维度逻辑表引入某物理表的字段。
步骤三:添加关联维度
- 在维度逻辑表的配置页面,鼠标悬停至需要关联维度的字段后,单击
图标。
- 在编辑模型关系对话框,配置参数。
区域 参数 描述 字段默认值 如果主表(当前维度逻辑表)和需要关联的维度逻辑表表关联不上,则Dataphin自动对关联字段补值为-110。 关联维度 关联维度 选择您已创建的维度。 选择了维度后,页面为您展示维度类型,同时您可以按照下图操作指引,查看维度逻辑表的计算逻辑。编辑关联逻辑 关联逻辑 默认展示需要关联维度的字段及关联的维度逻辑表的主键,不支持修改。 维表版本策略 定义主表(当前维度逻辑表)与关联维度逻辑表的分区,默认使用与当前维度逻辑表相同调度周期。更多说明如下: - 使用同周期维度(主表与维表使用同周期分区):主表和关联维度逻辑表计算时使用相同周期的时间分区。
例如,业务日期是20220110,需要查询主表的ds=20220101分区的数据,同时关联维度逻辑表的时间分区也是2020101,则就需要选择为使用同周期维表。
- 使用最新维表(维表使用最新分区):数据计算时使用最新关联维度逻辑表的最新分区。
例如,某商品类目经常会调整,10天前是手机类目,今天是电器类目。如果业务上需要按照电器类目重跑10天前的数据,则维表版本策略需要选择为使用最新维表(维表使用最新分区)。
缺联策略 缺联策略用于定义来源主表(左表)中存在的字段,但在维度逻辑表(右表)中不存在的字段,即无法关联的字段的计算逻辑。您可以选择保留原始缺联数据和缺联数据使用默认值代替: - 保留原始缺联数据: 创建派生指标时,保留左表原始数据。
- 缺联数据使用默认值代替:主表中的字段没有与维度逻辑表关联上,则使用默认值-110。
编辑维度角色 角色英文名、角色名称 维度角色具有维度别名作用。多次引用同一维度时不可重名定义,起到角色扮演效果。您需要定义角色英文名和角色名称: - 角色英文名的前缀默认为
dim
,自定义部分的命名规则为:- 包含字母、数字或下划线(_)。
- 不能超过64个字符。
- 角色名称的命名规则:
- 包含汉字、数字、字母、下划线(_)或短划线(-)。
- 不能超过64个字符。
配置完成后,为您展示主表与关联维度逻辑表的关联关系。同时您也可以按照下图操作指引,删除该关联关系。
- 使用同周期维度(主表与维表使用同周期分区):主表和关联维度逻辑表计算时使用相同周期的时间分区。
步骤四:提交普通维度逻辑表
- 按照下图操作指引,提交普通维度逻辑表。
- 如果项目的模式为Dev-Prod,则您需要发布普通维度逻辑表至生产环境。具体操作,请参见管理发布任务。