文档

落标监控概述

更新时间:

数据标准和资产对象的映射关联通过落标映射规则来定义,对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。

背景信息

标准创建完成后,需要指定其关联的资产对象才能被应用。Dataphin通过定义标准属性和资产对象元数据字段的匹配关系,实现标准和资产对象的映射关联。落标映射是对资产对象进行落标监控的前提条件。详情请参见新建和管理落标映射规则

落标监控

落标监控是基于数据标准对映射到的对象进行的监控,可分为元数据监控内容质量监控

  • 元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。

  • 内容监控是指针对标准映射到的资产对象(如字段、指标),评估其具体内容(如字段值)是否符合标准的约束,如值域是否在范围内、字段值是否唯一等。

    说明

    内容监控需要结合质量监控功能来实现,因此需要购买资产质量模块。

image

元数据监控

元数据监控配置首先需要指定监控的元数据字段及其对应标准的某个属性,此外,还需要指定校验逻辑(如:值相等则通过)和校验是否大小写敏感。注意,如果指定的元数据字段无法从数据源获取相应值,则无法进行落标评估。

例如:希望通过数据标准约束字段数据类型,其中“会员注册渠道“标准的“数据类型”属性值为STRING,该标准映射到的字段registration_channel在数据库中存储的数据类型为INT,则不符合标准定义,监控结果为不通过。

Dataphin的公共系统属性内置了常用的元数据监控,您可以在创建标准集时引用该系统属性,则该标准集下创建的数据标准默认继承系统属性的监控配置,详情请参见:新建和管理公共标准集属性

内容质量监控

基于标准对资产对象添加内容质量监控有2种方式:

  • 监控规则的内容和标准的某个属性值相关,即规则配置详情来源于标准属性值,如“字段值域监控”,规则的值域范围即标准的“值域”属性填写的值。这种配置方式下,质量监控规则的规则配置信息无需手动填写,基于属性值自动生成,校验配置可自行定义。

  • 监控规则的内容和标准内容无关,但是在创建数据标准时添加了规则配置,则针对该标准映射到的所有资产对象,均可快捷引用标准已经配置好的监控规则,实现快速批量配置的目的。这种配置方式下,质量监控规则的规则配置校验配置均为自行定义,详情请参见步骤二:新建质量规则