Dataphin为何会将一张逻辑表的调度任务拆成多个调度任务

产品名称

Dataphin

产品模块

维度逻辑表、周期调度

概述

客户在创建逻辑表的时候发现，在运行任务后，逻辑表对应的物化表会有相同的两张表，但时间节点是不一样。逻辑表在创建时会自动进行映射创建物化表，按照一定的规则和周期进行拆分，本文会为你解答逻辑表拆分的问题。

问题描述

 

 

问题原因

为什么逻辑表物化的任务都有2个呢？

解决方案

物化拆分问题定义
智能存储面临的问题，就是如果将逻辑模型物理化？每张物理表应该存放哪些逻辑字段？按照分拆粒度的粗细，将会有两个极端的策略。

策略1：每个字段都单独物化为一张物理表，尽量分拆每张物理表依赖的上游都比较少，将会很快产出，从而有利于下游任务的尽早调起。但是这样做的话，将会带来存储和计算性能上的浪费
策略2：所有字段都在一张物理表中，不做任何的拆分。这个大宽表需要等待所有上游完成后才会调起，不利于下游任务的产出，但由于只会有一个任务需要运行，计算性能和物理存储上会节省不少。

也就是说dws_all这张表里面的指标有很多，会按照时间周期进行拆分，比如会按照最近1天的、最近7天的、自然周进行拆分，这个任务节点的SQL代码其实是将自然周的指标拆分出来了

更多信息

无

相关文档

<无>