文档

元数据仓库共享模型概述

更新时间:

元仓共享模型是基于Dataphin内部的系统元数据表,通过任务加工生成的可以被稳定、标准化访问的开放元数据表,可降低对系统元数据表的依赖,提升系统稳定性。基于开放的元数据信息,您可以结合业务场景进行二次开发,以更好地满足对下游业务的适配性;也可以对数仓开发任务等进行更细粒度的盘点和分析,以辅助决策优化。

应用场景

降低开发成本:在Dataphin有10+以上的元数据库,比较复杂。若您有分析或二次开发Dataphin元数据的需求,您可使用共享模型进行分析或二次开发,降低使用成本。

提高系统稳定性:如果您直接连接元数据库查询或同步数据, 可能会对Dataphin系统的稳定性产生影响,从而影响功能使用。

提升输出稳定性:Dataphin的系统元数据库表结构可能会跟随功能升级产生变化,包括表新增下线、字段新增下线等。直接使用可能会因为变更导致下游数据加工任务出错,通过元仓共享模型可保持输出元数据的稳定性。

元数据共享模型存储方式及产出时效说明

元数据共享模型是一系列元数据相关的物理表,基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成,存在Dataphin元仓租户下的元仓项目中, 产出时效为T+1。

背景信息

什么是元数据仓库?

Dataphin元数据仓库(简称:元仓),是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库,存在于Dataphin元仓租户中(OPS租户)的一个Dataphin项目空间中,由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。

元数据仓库有哪些租户类型?

在Dataphin中有3种租户类型:

image

  • 运维租户:统称为元仓租户。一个Dataphin实例一个运维租户,主要负责元仓引擎初始化、元仓任务的创建和运行。一般面向部署Dataphin的运维工程师开放。Dataphin V3.4版本开始,支持单实例多租户(对应租户设置功能)、外部审批流对接配置、元数据共享模型等实例级别的功能。

    重要

    元仓租户下的任务不占用数据处理单元。

  • 业务租户:统称为开发租户,进行数据中台建设的租户,即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户,由元仓租户在租户设置页面创建并分配可用资源(数据处理单元数、质量规则数等)。

元仓共享模型数据说明

您可根据当前使用的Dataphin的元仓租户计算引擎类型查看对应的共享模型数据:元数据仓库共享模型(MaxCompute)元数据仓库共享模型(Hadoop)

访问元仓共享模型

若您需要访问元仓共享模型,可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。具体操作,请参见元数据仓库共享模型标准访问方式

  • 本页导读 (0)
文档反馈