阿里云首页

Dataphin为何会将一张逻辑表的调度任务拆成多个调度任务

产品名称

Dataphin

产品模块

维度逻辑表、周期调度

概述

客户在创建逻辑表的时候发现,在运行任务后,逻辑表对应的物化表会有相同的两张表,但时间节点是不一样。逻辑表在创建时会自动进行映射创建物化表,按照一定的规则和周期进行拆分,本文会为你解答逻辑表拆分的问题。

问题描述

 

 

问题原因

为什么逻辑表物化的任务都有2个呢?

解决方案

物化拆分问题定义
智能存储面临的问题,就是如果将逻辑模型物理化?每张物理表应该存放哪些逻辑字段?按照分拆粒度的粗细,将会有两个极端的策略。

策略1:每个字段都单独物化为一张物理表,尽量分拆每张物理表依赖的上游都比较少,将会很快产出,从而有利于下游任务的尽早调起。但是这样做的话,将会带来存储和计算性能上的浪费
策略2:所有字段都在一张物理表中,不做任何的拆分。这个大宽表需要等待所有上游完成后才会调起,不利于下游任务的产出,但由于只会有一个任务需要运行,计算性能和物理存储上会节省不少。

也就是说dws_all这张表里面的指标有很多,会按照时间周期进行拆分,比如会按照最近1天的、最近7天的、自然周进行拆分,这个任务节点的SQL代码其实是将自然周的指标拆分出来了

更多信息

相关文档

<无>

 

首页 Dataphin为何会将一张逻辑表的调度任务拆成多个调度任务