文档

新建及管理数据标准

更新时间:

数据标准是为业务、技术和管理提供服务和支持,数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。

权限说明

  • 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据标准。

  • 标准集维护人员及标准集成员可以在已加入的标准集下新建或克隆数据标准。

  • 超级管理员、数据标准管理员及标准负责人可管理所负责的数据标准,包括编辑、提交上线、删除、下线、编辑关联标准等。

使用限制

单个标准集下可创建的标准个数不超过1000个。

标准列表

在数据标准页面您可以更聚焦于某个关注的或与自己相关的标准集,快速概览该标准集下的标准概况。数据标准列表为您提供编辑查看两种展示模式。

查看模式下,可以查看已经配置的标准集目录和数据标准信息,但不支持操作,适用于浏览场景。

编辑模式下,除了查看已经配置的标准集目录和数据标准外,支持对标准执行编辑、删除、新建标准、克隆、上线、发布、撤销等操作;对标准集目录执行编辑、删除等操作。仅在当前标准集下有数据标准管理权限的账号可进入编辑模式。下图以编辑态为例。

image.png

区域

描述

筛选与搜索区

您可根据标准的名称、编码或ID进行搜索,也可根据我负责的、标准的负责人、所属标准集、标准类型、标准模板进行筛选。

标准集

标准集目录从业务或组织架构视角出发,对标准集和标准进行分类、分层管理。

  • 您可单击展开全部分类image..png或收起全部分类image..png图标,展开或收起标准集。

  • 支持按照标准集目录的名称、标准集的名称或编码进行搜索,也可根据我加入的我维护的进行筛选。

  • 全部数据标准:您可单击全部数据标准,查看有查看权限的全量标准列表,以便更快获取数据标准全貌。

  • 标准集:单击所选标准集目录下的标准集,右侧为您展示归属该标准集的标准列表。

  • 标准集目录:为您展示直接归属于该层级目录及其子目录下的所有标准集。如需创建目录,请参见管理标准集目录

  • 鼠标悬停至标准集目录或标准集,您可查看该标准集目录或标准集信息。标准集目录包括该目录下的目录编码、标准集总数、目录的最近更新人和最近更新时间;标准集包括标准集编码、标准集的最近更新人和最近更新时间。

    image.png

标准列表

标准不同的状态展示的信息及支持的操作不同。操作详情请参见标准支持的操作

  • 当标准的状态为已生效待生效已失效时,为您展示标准的名称、所属目录/标准集(当定位在全部数据标准时展示)、标准编码/ID、标准类型、描述、版本、生效时间、负责人、最近更新人/时间信息。

  • 当标准的状态为发布中时,为您展示标准的名称、所属目录/标准集(当定位在全部数据标准时展示)、标准编码/ID、标准类型、描述、发布类型、发布状态、生效时间、负责人、最近更新人/时间信息。

  • 当标准的状态为修订中草稿时,为您展示标准的名称、所属目录/标准集(当定位在全部数据标准时展示)、标准编码/ID、标准类型、描述、生效时间、负责人、最近更新人/时间信息。

标准支持的操作

状态

操作项

已生效、待生效、已失效

支持查看、编辑、克隆、编辑关联标准编辑关联文档、下线

发布中

支持查看、跳转审批任务、重新发布、撤销发布、克隆、编辑关联标准、编辑关联文档

修订中、草稿

支持查看、编辑、提交上线、克隆、编辑关联标准、编辑关联文档、删除。也可单击底部的上线删除按钮,批量将修订中或草稿态的标准提交上线或删除。

操作项

描述

查看

image

您可单击标准的名称或操作列下的查看图标,查看标准的基本信息监控规则历史版本配置详情。基本信息和监控详情页面支持切换查看历史版本记录。

  • 基本信息:包括属性信息、业务信息、智能映射配置、关联信息。

    • 属性信息:为您展示数据标准的属性配置信息。

    • 业务信息:为您展示标准集及目录、生效时间、负责人、描述信息。

    • 智能映射配置:为您展示识别特征信息。

    • 关联信息:关联信息不记录版本信息,仅选中最新版本时,可查看关联信息。包括关联标准、关联码表、关联文档。

      • 关联标准:支持查看关联的数据标准信息,包括标准名称、标准编码、归属目录&标准集、负责人、关联关系信息。同时,您可配置关联的数据标准信息,详情请参见编辑关联标准

      • 关联码表:关联码表信息基于已配置的标准属性值自动生成,包括码表名称、码表编码、负责人、关联关系信息。

      • 关联文档:支持查看关联的标准文档信息,包括文档名称、文档的描述、所属目录、创建人信息。同时,您可配置关联的标准文档信息,详情请参见编辑关联文档

  • 监控规则:为您展示规则名称、监控类型、添加方式、规则类型、校验规则、大小写敏感信息,您可以单击操作列下的查看图标查看该监控规则的详情。

  • 历史版本:为您展示每个版本的版本号、状态、最后修改人、创建时间、发布时间、上线发布说明信息,同时您可以在历史版本页面执行查看版本详情版本对比操作。

    • 查看版本详情:单击查看版本详情切换至基本信息对应的版本页面。

    • 版本对比:仅支持对比已发布过的生产版本号。可切换查看历史版本记录。

      配置信息中不同的颜色代表不同的操作记录。红色表示配置信息已删除;绿色表示新增配置信息;黄色表示参数不变,配置的值发生变更;花色表示无法获取对应值。

      image.png

      说明

      在生产环境下,已生效、待生效、已失效状态的标准展示已发布的历史版本信息。

编辑

  • 发布中状态的标准不支持编辑。

  • 标准创建后,标准编码不支持编辑。

  • 编辑已生效待生效已失效的标准,将对应生成一个修订中状态的标准,修订中的标准再次发布前不会影响已发布过的版本。

提交上线

若当前标准所在标准集开启了上线审批,则提交上线需经过审批,审批通过后标准将变为已生效待生效状态;若未开启审批,提交并通过校验后直接发布至生产环境。

说明
  • 若当前标准提交上线时已有下线审批中的标准,需先撤销下线审批的申请再重新提交上线。

  • 批量提交上线标准时仅支持对有操作权限的标准进行操作,否则将跳过,如果当前标准集配置了批量操作合并审批任务,本次选中的标准将整体生成一个审批任务,可整体通过或驳回;如果未开启合并审批任务,则每个选中的数据标准生成一个单独的审批任务,可独立操作每个标准的审批。

  • 提交上线并发布成功后,可针对已生效的标准进行落标映射关联。

克隆

可快速克隆标准。

删除

草稿态修订中的标准支持删除,删除后不可撤销,请谨慎操作。

说明

批量删除标准仅支持对有操作权限的标准进行操作,否则将跳过,您可以在其他操作记录中查看详情。

跳转审批任务

可跳转查看标准对应的审批任务。

重新发布

  • 如果标准所属的标准集开启了上线/下线审批,且标准之前的审批流程被驳回,则重新发布需要重新走审批流程。特殊的,如果重新发布时标准所属的标准集配置已变更,则不支持重新发布,需撤销本次发布并修改标准配置后,重新发起审批。

  • 针对所属标准集未开启上线/下线审批,或开启了审批,但之前的审批流程已经审批通过,仅发布执行失败的标准。

说明

如果选中的标准所在的标准集开启了合并审批,且标准之前存在一个被驳回或撤销发布的审批流程,则本次重新发布审批会连带之前流程中的所有标准重新发起一个审批流程。建议您先查看历史审批任务,确认提交的标准范围是否符合预期,如果不希望连带的标准重新发布,建议您先撤销发布后再重新提交发布申请。

撤销发布

  • 如果是审批中的任务,自动撤销审批任务,并将发布中的对象退回到提交发布前的状态。

  • 如果是审批驳回的任务,则直接将发布中的对象退回到提交发布前的状态。

说明

若当前标准所在的标准集开启了合并审批任务,则整个审批任务都会被一起撤回。您可以单击查看审批任务,确认是否符合预期后再撤销发布。

编辑关联标准

支持配置关联的数据标准信息,便于快捷查看相关的关联标准关系,例如,业务中其中一个指标的标准关联了其统计维度的标准。

关联标准不记录版本信息,仅选中最新版本时,可查看关联标准关系。

  • 编辑:单击编辑按钮,可删除关联标准,单击保存按钮,完成删除。

    image.png

  • 新增:按照下图操作指引,关联数据标准,配置不超过50个关联标准。

    image.png

编辑关联文档

支持配置关联的标准文档信息,便于快捷查看相关的关联文档关系。

关联文档不记录版本信息,仅选中最新版本时,可查看关联文档关系。

  • 编辑:单击编辑按钮,可下载或删除关联文档,单击保存按钮,完成文档的下载或删除。

    image

  • 新增:按照下图操作指引,关联标准文档,配置不超过50个关联文档。

    image

下线

若当前标准所在标准集开启了下线审批,则下线标准需经过审批,审批通过后标准将变为草稿状态;若未开启审批,提交并通过校验后直接生成草稿状态。

说明
  • 若当前标准下线时已有提交上线审批中的标准,需先撤销提交上线审批的申请再重新下线。

  • 批量提交下线标准时仅支持对有操作权限的标准进行操作,否则将跳过,如果当前标准集配置了批量操作合并审批任务,本次选中的标准将整体生成一个审批任务,可整体通过或驳回。如果未开启合并审批任务,则每个选中的数据标准生成一个单独的审批任务,可独立操作每个标准的审批。

  • 下线成功后,标准中已生成的映射关系将全部自动删除;引用当前标准监控配置创建的质量规则将无法运行,您可修改标准后重新提交上线。

创建数据标准

  • 数据标准需在指定标准集下基于指定标准模板创建。

  • 标准集决定了标准的分类归属以及需要遵循的权限管控和发布审批流程;标准模板决定了创建数据标准需要填写的属性信息及可配置的监控等。

  • 数据标准基于是否配置标准模板,分为三个创建入口:

    • 入口一:在全局标准列表下,单击右上角的新建标准按钮,选择标准归属的标准集和引用的标准模板后,方可进入标准详情配置页面。

    • 入口二:在单个标准集的数据标准列表页面,如果定位的标准集配置了默认标准模板,将直接进入基于该默认模板属性配置生成的标准详情配置页面。若标准集未配置默认标准模板,您需先选择标准模板,才可进入新建标准页面。

    • 入口三:在标准模板列表下,单击单个标准模板的新建图标,标准模板默认填充当前模板,并选择标准集后,进入新建标准页面。

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 下图以在全局标准列表页面新建标准为例进行讲解,按照下图指引,进入新建数据标准对话框。

    image.png

  3. 新建数据标准对话框中,选择标准集和标准模板。

    参数

    描述

    标准集

    请选择数据标准归属的标准集。

    标准模板

    如果已选择的标准集配置了默认标准模板,将默认为您填充标准集已配置的默认模板;如果未设置默认模板,您还需要选择标准模板。如需创建标准模板,请参见新建及管理标准模板

  4. 单击下一步,进入新建标准页面,配置标准的参数信息。

    如您需要切换标准模板,可单击左上角的切换,更换标准模板;若在编辑标准状态下,不支持切换标准模板。

    重要

    若已有数据标准的配置信息,切换后,已配置信息将全部清空且无法恢复,请谨慎操作。

    参数

    描述

    属性配置

    属性信息

    属性值填写规范取决于所属标准模板的属性配置。如:暂停调度日期属性所对应的字段取值类型为枚举值(单选),可选枚举值范围引用了中国法定节假期码表,则创建数据标准时,该属性值为下拉单选框,可选项为枚举值(单选),可选枚举值范围为引用了中国法定节假期码表的码值。

    image

    若属性字段取值类型为范围值,则配置方式如下:

    • 输入枚举值:常用于取值范围可枚举的情况。多个枚举值之间用英文半角逗号分隔,不超过5000字符。

    • 区间值:常用于取值范围是连续数值或日期的情况。可选择>>=<<=不限制五种符号,若最大值和最小值都选择不限制,则无需配置。

    • 引用码表:常用于属性值范围是动态变化的,或需要遵循某个约束的场景。仅可选状态为已发布的码表。

    更多属性配置信息,请参见自定义属性

    若引用Dataphin系统内置属性,约束配置如下所示:

    • 当属性配置引用系统属性-数据类型时,需要选择字段在数据库中存储的数据类型。

      • 若数据类型选择了CHAR(n)或者VARCHAR(n),则需配置长度。CHAR默认255,可选择1~255之间的整数,VARCHAR默认1000,可选择1~65535之间的整数。

      • 若数据类型选择了DECIMAL(p,s),则需配置精度。DECIMAL默认[38,18]。

        precision可选择1~38之间的整数,scale可选择0~18之间的整数。

        说明

        scale必须小于precision,否则输入无效。

    • 当属性配置引用系统属性-值域时,根据配置的属性字段取值类型和范围值类型来配置取值约束范围。

    • 当属性配置引用系统属性-是否可为空值/是否可为空字符串/是否唯一值时,可选择取值约束为

    • 当属性配置引用系统属性-数据分类/数据分级时,选择您所需的数据分类类别和数据分级等级,以便更好的对数据进行分层管控。如何创建数据分类和数据分级,请参加新建及管理数据分类管理数据分级

    说明

    若系统内置的属性被数据标准引用,则自带的落标监控会一起被引用。如果您未开通对应的模块开通,则不可引用系统属性内置的落标监控配置,仅可引用属性配置,不同功能模块对应不同的属性如下:

    • 值域、是否可为空值、是否可为空字符串、是否唯一值内置内容质量监控,因此需开通资产质量模块功能方可使监控生效。

    • 数据分类数据分级需开通资产安全模块功能方可使监控生效。

    业务信息

    标准集及目录

    默认标准集名称。

    生效时间

    设置标准的生效时间。

    • 永久:永久生效。

    • 自定义:在指定的时间段内生效。超过指定的时间段,标准会变为已失效状态,如果需要继续使用该标准,您可以修改生效时间后重新发布。

    负责人

    选择该标准的负责人。标准负责人需要是所属标准集的维护人员或成员,可以编辑和删除该标准。

    描述

    自定义描述,不超过256字符。

    智能映射配置

    识别特征

    配置与标准相关联的识别特征后,在落标映射规则执行时会基于定义的特征表达式、结合数据内容详情和对象描述等元数据信息智能推荐标准和资产对象之间的映射关系,可减少人工配置成本。支持选择不超过20个识别特征。多个识别特征之间为的关系。

    单击查看识别特征,可跳转至识别特征页面查看识别特征信息。

    监控规则

    监控规则包括引用系统属性继承的元数据监控内容质量监控,以及自定义添加的质量监控规则,创建质量监控规则请参见质量监控规则配置。您可单击image.png按钮,查看监控配置的说明详情。

    监控规则配置

    如果您购买了资产质量模块,可以自定义添加质量监控,如字段唯一值校验。配置后,当前标准映射到的所有资产对象,都可以在质量规则配置页面快速引用添加当前标准配置的监控,以便更好地遵循数据标准的约束,并实现批量创建质量监控的效果。每个数据标准最多配置100条监控规则。

      说明
      • 若该标准删除质量监控规则,则引用生成的质量规则配置将不完整,请根据业务需求,谨慎操作。

      • 若该标准修改质量监控规则,则引用生成的质量规则会同步更新,但不会修改质量自定义配置的内容。

      • 引用带有监控的公共属性,则会自动添加相应监控规则,如元数据监控。

    • 创建Dataphin数据表质量规则时,可引用此处配置的质量监控规则,规则配置和校验配置复用标准配置不可修改,支持自定义规则强弱、调度方式、生效开关、告警等信息。

    • 当前标准映射上的所有资产对象,可在资产质量模块引用配置的内容质量监控,快速批量生成质量规则。

    关联信息

    关联标准

    支持查看关联的数据标准的信息,包括标准名称、标准编码、归属目录&标准集、负责人、关联关系信息。

    • 查看标准:您可单击标准的名称或操作列下的查看图标,查看标准的基本信息、监控规则、历史版本详情。

    • 编辑关联标准:如需新增或删除关联标准,需先完成当前标准的编辑,再通过标准列表或标准属性抽屉进入关联标准的编辑入口。

    关联码表

    支持查看关联的码表信息,包括码表名称、码表编码、负责人、关联关系信息。

    • 查看码表:您可以单击码表的名称或操作列下的查看图标,查看码表详情、引用信息。

    • 编辑关联码表:关联码表基于已配置的标准属性值自动生成,您可以通过修改属性值修改标准的关联码表信息。

    关联文档

    支持查看关联的标准文档信息,包括标准文档的名称、描述、所属目录、创建人信息。

    • 预览文档:当文档格式为PDF时,支持在线预览文档内容。

    • 下载文档:您可以将标准文档下载至本地并查看。

    • 编辑关联文档:如需新增或删除关联文档,需先完成当前标准的编辑,再通过标准列表或标准属性抽屉进入关联文档的编辑入口

  5. 单击保存,在标准列表查看配置信息。

    单击保存并发布需在提交上线标准对话框填写审批备注作为发布上线的参考信息,再单击确定,将标准发布至生产环境中。

质量监控规则配置

image

区域

参数

描述

基本信息

规则名称

根据业务需求自定义规则名称,不超过128个字符。

描述

自定义质量规则描述,不超过128个字符。

模板来源

系统模板:模板内置参数可配置,适合通用的规则创建。

自定义模板:模板预置参数,无需配置,一般用于含有业务逻辑的规则创建。

规则模板

规则模板包括完整性唯一性有效性稳定性

  • 完整性:包括字段空值校验字段空字符串校验

  • 唯一性:包含字段唯一性校验字段分组个数校验字段重复值个数校验

  • 有效性:包含字段格式校验字段长度校验字段值域校验码表参照对比

  • 稳定性:包含字段稳定性校验字段波动性校验

模板说明详情请参见模板类型说明

规则配置

配置监控规则的详情。特殊的,如果是需要配置校验字段的模板,将根据标准映射到的字段或指标自动选中,无需在此处进行配置,其他配置请参见数据表参数配置

注意:规则配置仅支持在数据标准修改,质量页面引用当前规则后不支持修改规则配置,但是可以修改规则名称、规则强弱、调度配置、生效状态等信息,并进行运行和试跑。

校验配置

校验配置根据选择的模板不同有所差异,配置详情请参见校验配置说明

注意校验配置仅支持在数据标准修改,质量页面引用当前规则后不支持修改校验配置。

  • 本页导读 (0)