新建和管理数据标准

更新时间: 2023-11-21 15:14:10

数据标准是为业务、技术和管理提供服务和支持,数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建和管理数据标准。

权限说明

  • 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据标准。

  • 标准集维护人员及标准集成员可以在已加入的标准集下新建或克隆数据标准。

  • 超级管理员、数据标准管理员及标准负责人可管理所负责的数据标准,包括编辑、提交上线、删除、下线等。

使用限制

单个标准集下可创建的标准个数不超过1000个。

使用说明

  • 在数据标准页面您可以更聚焦于某个关注的或与自己相关的标准集,快速概览该标准集下的标准概况。

  • 在数据标准页面您可以点击查看全部标准,查看有查看权限的全量标准列表,以便更快获取数据标准全貌,您也可以点击查看流程引导,帮助您更好的了解数据标准创建、管理及应用的全流程。

标准列表

数据标准列表为您提供编辑查看两种展示模式。

查看模式下,仅支持查看已经配置的数据标准信息,不支持操作,适用于浏览场景。

编辑模式下,除了查看已经配置的数据标准信息外,还可执行编辑、删除、新建标准、克隆、上线、发布、撤销等操作。仅在当前标准集下有编辑权限的账号可进入编辑模式。下图以编辑态为例。

image.png

状态

操作项

已生效、待生效、已失效

支持查看、编辑、克隆、下线

发布中

支持查看、跳转审批任务、重新发布、撤销发布、克隆

修订中、草稿

支持查看、编辑、提交上线、克隆、删除。也可单击底部的上线按钮,批量将修订中或草稿态的标准提交上线。

操作项

描述

查看

您可点击标准的名称或操作列下的image图标,查看标准的基本信息、监控规则及历史版本配置详情。基本信息和监控详情页面支持切换查看历史版本记录。

说明

在生产环境下,已生效、待生效、已失效状态的标准展示已发布的历史版本信息。

您可以在历史版本页面执行查看版本详情版本对比操作。

  • 查看版本详情:点击查看版本详情切换至基本信息对应的版本页面。

  • 版本对比:仅支持对比已发布过的生产版本号。可切换查看历史版本记录。

    配置信息中不同的颜色代表不用的操作记录。红色表示配置信息已删除;绿色表示新增配置信息;黄色表示参数不变,配置的值发生变更;花色表示无法获取对应值。

    image.png

编辑

  • 发布中状态的标准不支持编辑。

  • 标准创建后,标准编码不支持编辑。

  • 编辑已生效待生效已失效的标准,将对应生成一个修订中状态的标准,修订中的标准再次发布前不会影响已发布过的版本。

提交上线

提交上线需经过审批,审批通过后标准将变为已生效待生效状态。

支持在资产目录查看已生效的标准,可针对已生效的标准进行落标映射关联。

克隆

可快速克隆标准。

删除

草稿态修订中的标准支持删除,删除后不可撤销。

跳转审批任务

可跳转查看标准对应的审批任务。

重新发布

  • 审批被驳回的标准,重新发布需要重新走上线发布审批。特殊的,若重新发布时,标准对应的标准集版本已变更,则不支持重新发布,需撤销本次发布并修改标准配置后,重新发起审批。

  • 审批通过但发布执行失败的标准,直接重新发布无需重新审批。

撤销发布

  • 如果是审批中的任务,自动撤销审批任务,并将发布中的对象退回到提交发布前的状态。

  • 如果是审批驳回的任务,则直接将发布中的对象退回到提交发布前的状态。

下线

下线标准需要经过审批,审批通过后标准将变成草稿态。

创建数据标准

  • 数据标准需在指定标准集下基于指定标准模板创建。

  • 标准集决定了标准的分类归属以及需要遵循的权限管控和发布审批流程;标准模板决定了创建数据标准需要填写的属性信息及可配置的监控等。

  • 数据标准基于是否配置标准模板,分为三个创建入口:

    • 入口一:在全局标准列表下,单击右上角的新建标准按钮,选择标准归属的标准集和引用的标准模板后,方可进入标准详情配置页面。

    • 入口二:在单个标准集的数据标准列表页面,如果定位的标准集配置了默认标准模板,将直接进入基于该默认模板属性配置生成的标准详情配置页面。若标准集未配置默认标准模板,您需先选择标准模板,才可进入新建标准页面。

    • 入口三:在标准模板列表下,单击单个标准模板的新建图标,标准模板默认填充当前模板,并选择标准集后,进入新建标准页面。

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 下图以在全局标准列表页面新建标准为例进行讲解,按照下图指引,进入新建数据标准对话框。

    image.png

  3. 新建数据标准对话框,选择标准集和标准模板。

    参数

    描述

    标准集

    请选择数据标准归属的标准集。

    标准模板

    如果已选择的标准集配置了默认标准模板,将默认为您填充标准集已配置的默认模板;如果未设置默认模板,您还需要选择标准模板。如需创建标准模板,请参见新建及管理标准模板

  4. 单击下一步,进入新建标准页面,配置标准的参数信息,包括属性配置、监控配置和业务信息。

    如您需切换标准模板,可单击左上角的切换,更换标准模板;若在编辑标准状态下,不支持切换标准模板。

    重要

    若已有数据标准的配置信息,切换后,已配置信息将全部清空且无法恢复,请谨慎操作。

    参数

    描述

    属性配置

    属性信息

    属性值填写规范取决于所属标准模板的属性配置。如:暂停调度日期属性所对应的字段取值类型为枚举值(单选),可选枚举值范围引用了中国法定节假期码表,则创建数据标准时,该属性值为下拉单选框,可选项为枚举值(单选),可选枚举值范围为引用了中国法定节假期码表的码值。

    image

    若属性字段取值类型为范围值,则配置方式如下:

    • 输入枚举值:常用于取值范围可枚举的情况。多个枚举值之间用英文半角逗号分隔,不超过5000字符。

    • 区间值:常用于取值范围是连续数值或日期的情况。可选择>>=<<=不限制五种符号,若最大值和最小值都选择不限制,则无需配置。

    • 引用码表:常用于属性值范围是动态变化的,或需要遵循某个约束的场景。仅可选状态为已发布的码表。

    更多属性配置信息,请参见自定义属性

    若引用Dataphin系统内置属性,约束配置如下所示:

    • 当属性配置引用系统属性-数据类型时,需要选择字段在数据库中存储的数据类型。

      • 若数据类型选择了CHAR(n)或者VARCHAR(n),则需配置长度。CHAR默认255,可选择1~255之间的整数, VARCHAR默认1000,可选择1~65535之间的整数。

      • 若数据类型选择了DECIMAL(p,s),则需配置精度。DECIMAL默认[38,18]。

        precison可选择1~38之间的整数,scale可选择0~18之间的整数。

        说明

        scale必须小于precision,否则输入无效。

    • 当属性配置引用系统属性-值域时,根据配置的属性字段取值类型和范围值类型来配置取值约束范围。

    • 当属性配置引用系统属性-是否可为空值/是否可为空字符串/是否唯一值时,可选择取值约束为

    • 当属性配置引用系统属性-数据分类/数据分级时,选择您所需的数据分类类别和数据分级等级,以便更好的对数据进行分层管控。如何创建数据分类和数据分级,请参加管理数据分类管理数据分级

    说明

    若系统内置的属性被数据标准引用,则自带的落标监控会一起被引用。如果您未开通对应的模块开通,则不可引用系统属性内置的落标监控配置,仅可引用属性配置,不同功能模块对应不同的属性如下:

    • 值域、是否可为空值、是否可为空字符串、是否唯一值内置内容质量监控,因此需开通资产质量模块功能方可使监控生效。

    • 数据分类数据分级需开通资产安全模块功能方可使监控生效。

    监控规则

    监控规则包括引用系统属性继承的元数据监控内容质量监控,以及自定义添加的质量监控规则,创建质量监控规则请参见质量监控规则配置

    监控规则配置

    如果您购买了资产质量模块,可自定义添加质量监控,如字段唯一值校验。配置后,当前标准映射到的所有资产对象,都可以在质量规则配置页面快速引用添加当前标准配置的监控,以便更好的遵循数据标准的约束,并实现批量创建质量监控的效果。每个数据标准最多配置100条监控规则。

      说明
      • 若该标准删除质量监控规则,则引用生成的质量规则配置将不完整,请根据业务需求,谨慎操作。

      • 若该标准修改质量监控规则,则引用生成的质量规则会同步更新,但不会修改质量自定义配置的内容。

      • 引用带有监控的公共属性,则会自动添加相应监控规则,如元数据监控。

    • 创建Dataphin数据表质量规则时,可引用此处配置的质量监控规则,规则配置和校验配置复用标准配置不可修改,支持自定义规则强弱、调度方式、生效开关、告警等信息。

    • 当前标准映射上的所有资产对象,可在资产质量模块引用配置的内容质量监控,快速批量生成质量规则。

    业务信息

    标准集及目录

    默认标准集名称。

    生效时间

    设置标准的生效时间。

    • 永久:永久生效。

    • 自定义:在指定的时间段内生效。超过指定的时间段,标准会变为已失效状态,如果需要继续使用该标准,您可以修改生效时间后重新发布。

    负责人

    选择该标准的负责人。标准负责人需要是所属标准集的维护人员或成员,可以编辑和删除该标准。

    描述

    自定义描述,不超过256字符。

  5. 单击保存,在标准列表查看配置信息。

    单击保存并发布需在提交上线标准对话框填写审批备注作为发布上线的参考信息,再单击确定,将标准发布至生产环境中。

质量监控规则配置

image

区域

参数

描述

基本信息

规则名称

根据业务需求自定义规则名称,不超过128字符。

描述

自定义质量规则描述,不超过128字符。

模板来源

系统模板:模板内置参数可配置,适合通用的规则创建。

自定义模板:模板预置参数,无需配置,一般用于含业务逻辑的规则创建。

规则模板

规则模板包括完整性唯一性有效性稳定性

  • 完整性:包括字段空值校验字段空字符串校验

  • 唯一性:包含字段唯一性校验字段分组个数校验字段重复值个数校验

  • 有效性:包含字段格式校验字段长度校验字段值域校验码表参照对比

  • 稳定性:包含字段稳定性校验字段波动性校验

模板说明详情请参见模板类型说明

规则配置

配置监控规则的详情。特殊的,如果是需要配置校验字段的模板,将根据标准映射到的字段或指标自动选中,无需在此处进行配置,其他配置请参见规则配置说明

注意:规则配置仅支持在数据标准修改,质量页面引用当前规则后不支持修改规则配置,但是可以修改规则名称、规则强弱、调度配置、生效状态等信息,并进行运行和试跑。

校验配置

校验配置根据选择的模板不同有所差异,配置详情请参见校验配置说明

注意校验配置仅支持在数据标准修改,质量页面引用当前规则后不支持修改校验配置。

批量导入标准

数据标准的批量导入标准配置与标准模板的一致,区别在于入口不同。配置信息,请参见批量导入数据标准,共有三个操作入口:

入口

差异描述

从全部标准列表或标准模板列表进入

无默认填充,需配置标准模板、标准集等信息。

从数据标准列表的单个标准集进入

默认填充当前标准集,若该标准集配置了默认标准模板,则自动填充该标准集下的默认标准模板。您也可重新选择标准集和标准模板。

从标准模板列表进入

默认填充当前标准模板;您也可重新选择标准模板。

批量导出标准

数据标准的批量导出标准的配置与标准模板的一致,区别在于入口不同。配置信息,请参见批量导出数据标准,共有四个操作入口:

入口

差异描述

从全部标准列表或标准模板列表进入

无默认填充,需配置标准集、标准模板等信息。

从数据标准列表的单个标准集进入

标准范围默认填充当前标准集,您也可重新选择标准集。

从标准集的操作列进入

标准范围默认填充当前标准集,您也可重新选择标准集。

从标准模板列表进入

默认填充当前标准模板;您也可重新选择标准模板。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈