Dataphin逻辑表的物化表是根据什么规则生成和变化的

产品名称

Dataphin

产品模块

事实逻辑表、维度逻辑表、汇总逻辑表

概述

本文介绍了Dataphin物化拆分的基本规则和多版本模型刷新机制

问题描述

1.修改逻辑表的哪些地方会导致物化表的版本发生变化?
2.有些逻辑表存在多个物化表,具体是根据什么来划分的?为什么有些字段是存在同一张物理表中的?

问题原因

解决方案

问题1:

1)不需要进行模型刷新,即物化表版本不变的情况:
修改逻辑模型名称 (alter table table_name rename to new_table_name; )
修改逻辑模型生命周期 (alter table table_name set lifecycle days; )
增加普通字段 (alter table table_name add columns;)
删除普通字段 (alter table table_name change old_rename to invalide_***)
修改普通字段名称 (alter table table_name change old_rename to new_name;)
增加几个普通字段放在一张新的物化表(create table ***)

2)需要进行模型刷新,即重新创建所有物化表 v1->v2的情况:
修改任意字段数据类型
新增分区字段
删除分区字段
修改分区字段名称
分区字段顺序发生变化
任意字段发生迁移(从表A -> 表B)

问题2:

目前Dataphin是采用基于规则的方式对表字段进行拆分的。比较典型的几种场景有:产出时间拆分;行为属性拆分;主外键冗余;主子维度冗余;汇总表时间周期拆分

更多信息

相关文档