数据标准是为业务、技术和管理提供服务和支持,数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何创建及管理数据标准。
权限说明
超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据标准。
标准集维护人员及标准集成员可以在已加入的标准集下新建或克隆数据标准。
超级管理员、数据标准管理员及标准负责人可以管理所负责的数据标准,包括编辑、提交上线、删除、下线、编辑关联标准等。
使用限制
单个标准集下可创建的标准个数不超过1000个。
标准列表
在数据标准页面您可以更聚焦于某个关注的或与自己相关的标准集,快速概览该标准集下的标准概况。数据标准列表为您提供编辑和查看两种展示模式,在标准列表页面,单击右上角图标进行切换查看。
在查看模式下,可以查看已经配置的标准集目录和数据标准信息,但不支持操作,适用于浏览场景。
在编辑模式下,除了查看已经配置的标准集目录和数据标准外,支持对标准执行编辑、删除、新建标准、克隆、上线、发布、撤销等操作;对标准集目录执行编辑、删除等操作。仅在当前标准集下有数据标准管理权限的账号可进入编辑模式。下图以编辑态为例。
区域 | 描述 |
①筛选与搜索区 | 您可根据标准的名称、编码或ID进行搜索,也可根据我负责的、标准的负责人、所属标准集、标准类型、标准模板进行筛选。 |
②标准集 | 标准集目录从业务或组织架构视角出发,对标准集和标准进行分类、分层管理。
|
③标准列表 | 标准不同的状态展示的信息及支持的操作不同。操作详情请参见标准支持的操作。
|
标准支持的操作
状态 | 操作项 |
已生效、待生效、已失效 | 支持查看、编辑、克隆、编辑关联标准、编辑关联文档、订阅标准变更、下线。也可单击底部的订阅标准变更、下线按钮,批量将已生效、待生效或已失效的标准下线或订阅标准变更。 |
发布中 | 支持查看、跳转审批任务、重新发布、撤销发布、克隆、编辑关联标准、编辑关联文档、订阅标准变更。 |
修订中、草稿 | 支持查看、编辑、提交上线、克隆、编辑关联标准、编辑关联文档、订阅标准变更、删除。也可单击底部的订阅标准变更、上线、删除按钮,批量将修订中或草稿态的标准提交上线、删除或订阅标准变更。 |
操作项 | 描述 |
查看 | 您可以单击标准的名称或操作列下的查看图标,查看标准的基本信息、监控规则及历史版本配置详情。基本信息和监控详情页面支持切换查看历史版本记录。
|
编辑 |
|
提交上线 | 若当前标准所在标准集开启了上线审批,则提交上线需经过审批,审批通过后标准将变为已生效或待生效状态;若未开启审批,提交并通过校验后直接发布至生产环境。 说明
|
克隆 | 可快速克隆标准。 |
删除 | 草稿态和修订中的标准支持删除,删除后不可撤销,请谨慎操作。 说明 批量删除标准仅支持对有操作权限的标准进行操作,否则将跳过,您可以在批量操作记录中查看信息,详情请参见批量导入导出数据标准。 |
跳转审批任务 | 可跳转查看标准对应的审批任务。 |
重新发布 |
说明 如果选中的标准所在的标准集开启了合并审批,且标准之前存在一个被驳回或撤销发布的审批流程,则本次重新发布审批会连带之前流程中的所有标准重新发起一个审批流程。建议您先查看历史审批任务,确认提交的标准范围是否符合预期,如果不希望连带的标准重新发布,建议您先撤销发布后再重新提交发布申请。 |
撤销发布 |
说明 若当前标准所在的标准集开启了合并审批任务,则整个审批任务都会被一起撤回。您可以单击查看审批任务,确认是否符合预期后再撤销发布。 |
编辑关联标准 | 支持配置关联的数据标准信息,便于快捷查看相关的关联标准关系,例如,业务中其中一个指标的标准关联了其统计维度的标准。 关联标准不记录版本信息,仅选中最新版本时,可查看关联标准关系。
|
编辑关联文档 | 支持配置关联的标准文档信息,便于快捷查看相关的关联文档关系。 关联文档不记录版本信息,仅选中最新版本时,可查看关联文档关系。
|
订阅标准变更 | 通过订阅标准状态能够及时同步标准状态的变更,以便根据变更及时作出业务调整。您可以在我订阅的资产中查看标准订阅信息,详情请参见查看我订阅的资产。
说明
|
下线 | 若当前标准所在标准集开启了下线审批,则下线标准需经过审批,审批通过后标准将变为草稿状态;若未开启审批,提交并通过校验后直接生成草稿状态。 说明
|
创建数据标准
数据标准需在指定标准集下基于指定标准模板创建。
标准集决定了标准的分类归属以及需要遵循的权限管控和发布审批流程;标准模板决定了创建数据标准需要填写的属性信息及可配置的监控等。
数据标准基于是否配置标准模板,分为三个创建入口:
入口一:在全局标准列表下,单击右上角的新建标准按钮,选择标准归属的标准集和引用的标准模板后,方可进入标准详情配置页面。
入口二:在单个标准集的数据标准列表页面,如果定位的标准集配置了默认标准模板,将直接进入基于该默认模板属性配置生成的标准详情配置页面。若标准集未配置默认标准模板,您需先选择标准模板,才可进入新建标准页面。
入口三:在标准模板列表下,单击单个标准模板的新建图标,标准模板默认填充当前模板,并选择标准集后,进入新建标准页面。
操作步骤
在Dataphin首页,单击顶部菜单栏的治理 > 数据标准。
下图以在全局标准列表页面新建标准为例进行讲解,单击左侧导航栏的数据标准,再单击+新建标准按钮。
在新建数据标准对话框中,选择标准集和标准模板。
标准集:请选择数据标准归属的标准集。
标准模板:如果已选择的标准集配置了默认标准模板,将默认为您填充标准集已配置的默认模板;如果未设置默认模板,您还需要选择标准模板。如需创建标准模板,请参见创建及管理标准模板。
单击下一步,进入新建标准页面,配置标准的参数信息。
如果您需要切换标准模板,可以单击右上角的切换,更换标准模板。
重要若已经配置了数据标准信息,切换后,已配置信息将全部清空且无法恢复,请检查配置信息是否完整且符合属性值规范。
参数
描述
属性配置
属性信息
属性值填写规范取决于所属的标准模板的属性配置。例如:暂停调度日期属性所对应的字段取值类型为枚举值(单选),可选枚举值范围引用了中国法定节假期码表,则创建数据标准时,该属性值为下拉单选框,可选项为枚举值(单选),可选枚举值范围为引用了中国法定节假期码表的码值。
标准编码值:若当前模板的标准编码为基于编码规则自动生成,系统为您展示基于规则生成的编码值,您可以单击重新生成,系统会为您重新生成一个新的编码值,也可以单击切换为自定义编辑,根据当前模板的编码规则约束填写编码值。
系统属性配置:
范围值:若属性字段取值类型为范围值,则配置方式如下:
输入枚举值:常用于取值范围可枚举的情况。多个枚举值之间用英文半角逗号分隔,不超过5000字符。
区间值:常用于取值范围是连续数值或日期的情况。可选择>、>=、<、<=、不限制五种符号,若最大值和最小值都选择不限制,则无需配置。
引用码表:常用于属性值范围是动态变化的,或需要遵循某个约束的场景。仅可选状态为已发布的码表。
更多属性配置信息,请参见自定义属性。
内置属性:若引用Dataphin系统内置属性,约束配置如下所示:
当属性配置引用系统属性-数据类型时,需要选择字段在数据库中存储的数据类型。
若数据类型选择了CHAR(n)或者VARCHAR(n),则需配置长度。CHAR默认为255,可选择1~255之间的整数,VARCHAR默认为1000,可选择1~65535之间的整数。
若数据类型选择了DECIMAL(p,s),则需要配置精度。DECIMAL默认[38,18]。
precision可以选择1~38之间的整数,scale可以选择0~18之间的整数。
说明scale必须小于precision,否则输入无效。
当属性配置引用系统属性-值域时,根据配置的属性字段取值类型和范围值类型来配置取值约束范围。
当属性配置引用系统属性-是否可为空值/是否可为空字符串/是否唯一值时,可选择取值约束为是或否。
当属性配置引用系统属性-数据分类/数据分级时,请选择您所需的数据分类类别和数据分级等级,以便更好的对数据进行分层管控。如何创建数据分类和数据分级,请参加创建及管理数据分类、创建及管理数据分级。
说明若系统内置的属性被数据标准引用,则自带的落标监控会一起被引用。如果您未开通对应的模块开通,则不可引用系统属性内置的落标监控配置,仅可引用属性配置,不同功能模块对应不同的属性如下:
值域、是否可为空值、是否可为空字符串、是否唯一值内置内容质量监控,因此需开通资产质量模块功能方可使监控生效。
数据分类、数据分级需开通资产安全模块功能方可使监控生效。
引用的系统公共属性未配置属性值,将不会生成对应的监控项;系统将按照填写的属性值根据落标监控配置自动生成对应的监控项。
业务信息
标准集及目录
默认标准集名称。
生效时间
设置标准的生效时间。
永久:永久生效。
自定义:在指定的时间段内生效。超过指定的时间段,标准会变为已失效状态,如果需要继续使用该标准,您可以修改生效时间后重新发布。
负责人
选择该标准的负责人。标准负责人需要是所属标准集的维护人员或成员,可以编辑和删除该标准。
描述
自定义描述,不超过256个字符。
智能映射配置
识别特征
配置与标准相关联的识别特征后,在落标映射规则执行时会基于定义的特征表达式、结合数据内容详情和对象描述等元数据信息智能推荐标准和资产对象之间的映射关系,可减少人工配置成本。支持选择不超过20个识别特征。多个识别特征之间为或的关系。
单击查看识别特征,可跳转至识别特征页面查看识别特征信息。
监控规则
监控规则包括引用系统属性继承的元数据监控和内容质量监控,以及自定义添加的质量监控规则,查看元数据和内容质量监控详情,请参见元数据监控和内容质量监控,创建质量监控规则请参见质量监控规则配置。您可以单击按钮,查看监控配置的说明详情。
监控规则配置
如果您购买了资产质量模块,可以自定义添加质量监控,如字段唯一值校验。配置后,当前标准映射到的所有资产对象,都可以在质量规则配置页面快速引用添加当前标准配置的监控,以更好地遵循数据标准的约束,并实现批量创建质量监控的效果。每个数据标准最多配置100条监控规则。
若该标准删除质量监控规则,则引用生成的质量规则配置将不完整,请根据业务需求,谨慎操作。
若该标准修改质量监控规则,则引用生成的质量规则会同步更新,但不会修改质量自定义配置的内容。
引用带有监控的公共属性,则会自动添加相应监控规则,如元数据监控。
创建Dataphin数据表质量规则时,可引用此处配置的质量监控规则,规则配置和校验配置复用标准配置不可修改,支持自定义规则强弱、调度方式、生效开关、告警等信息。
当前标准映射上的所有资产对象,可在资产质量模块引用配置的内容质量监控,快速批量生成质量规则。
说明关联信息
关联标准
支持查看关联的数据标准的信息,包括标准名称、标准编码、归属目录&标准集、负责人、关联关系信息。
查看标准:您可单击标准的名称或操作列下的查看图标,查看标准的基本信息、监控规则、历史版本详情。
编辑关联标准:如需新增或删除关联标准,需先完成当前标准的编辑,再通过标准列表或标准属性抽屉进入关联标准的编辑入口。
关联码表
支持查看关联的码表信息,包括码表名称、码表编码、负责人、关联关系信息。
查看码表:您可单击码表的名称或操作列下的查看图标,查看码表详情、引用信息。
编辑关联码表:关联码表基于已配置的标准属性值自动生成,您可以通过修改属性值修改标准的关联码表信息。
关联文档
支持查看关联的标准文档信息,包括标准文档的名称、描述、所属目录、创建人信息。
预览文档:当文档格式为PDF时,支持在线预览文档内容。
下载文档:您可以将标准文档下载至本地并查看。
编辑关联文档:如需新增或删除关联文档,需先完成当前标准的编辑,再通过标准列表或标准属性抽屉进入关联文档的编辑入口
单击保存,在标准列表查看配置信息。
单击保存并发布,需在提交上线标准对话框填写审批备注作为发布上线的参考信息,再单击确定,将标准发布至生产环境中。
质量监控规则配置
参数 | 描述 | |
基本信息 | 规则名称 | 根据业务需求自定义规则名称,不超过128个字符。 |
描述 | 自定义质量规则描述,不超过128个字符。 | |
模板来源 | 系统模板:模板内置参数可配置,适合通用的规则创建。 自定义模板:模板预置参数,无需配置,一般用于含有业务逻辑的规则创建。 | |
规则模板 | 规则模板包括完整性、唯一性、有效性、稳定性。
模板说明详情请参见模板类型说明。 | |
规则配置 | 配置监控规则的详情。特殊的,如果需要配置校验字段的模板,将根据标准映射到的字段或指标自动选中,无需在此处进行配置,其他配置请参见数据表参数配置。 注意:规则配置仅支持在数据标准修改,质量页面引用当前规则后不支持修改规则配置,但是可以修改规则名称、规则强弱、调度配置、生效状态等信息,并进行运行和试跑。 | |
校验配置 | 校验配置根据选择的模板不同有所差异,配置详情请参见校验配置说明。 注意:校验配置仅支持在数据标准修改,质量页面引用当前规则后不支持修改校验配置。 |