数据标准概述

Dataphin支持创建并管理数据标准,以保障数据的标准化生产与管理,节约数据应用和处理的成本。

背景信息

数据标准目标是为业务技术管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求,定义过程中需要参考国际标准、国家标准、监管标准、行业标准、行内标准等内部及外部监管标准。

  • 业务方面:通过对实体数据的标准化定义,解决数据不一致、不完整、不准确等问题,消除数据的二义性,使得数据在企业有一个全局的定义,减少了各部门、各系统的沟通成本,提升企业业务处理的效率;标准统一的数据指标体系,让业务人员也能够轻松获取数据,并能够自助式地进行数据分析,为基于数据的业务创新提供可能。

  • 技术方面:统一、标准的数据及数据结构是企业信息共享的基础;标准的数据模型和标准数据为新建系统提供支撑,提升应用系统的开发实施效率;数据标准化清晰定义数据质量规则数据的来源和去向校验规则,提升数据质量。

  • 管理方面:通过数据的标准化定义,明确数据的责任主体,为数据安全、数据质量提供保障;统一、标准的数据指标体系为各主题的数据分析提供支持,提升数据处理和分析效率,提供业务指标的事前提示事中预警事后提醒,实现数据驱动管理,让决策者快速获取决策信息。

前提条件

已购买数据标准增值服务,详情请参见开通Dataphin

应用场景

某集团IT团队制定了关于员工性别的数据标准:用male表示男性,用female表示女性,用unknown表示未知。

  • 首先,数据标准管理员创建了性别码表并同步到开发人员;接着创建了员工性别标准,值域范围引用性别码表,并添加了字段值域校验的落标监控;最后创建了落标映射规则。

  • 开发人员在创建集成任务时,查询了性别码表,使用字段计算组件,将来源表中01等不规范的字段值转换为male、female、unknown,接着在目标表的质量规则页面引用了员工性别标准已创建的监控规则并配置调度。任务运行后,基于质量告警发现来源表字段值转换失败,出现了不规范记录,手动修正目标表。

核心概念

名词

说明

相关文档

标准集

标准集是规范相似或一致、业务含义相关的一组标准的合集,定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息,以便对数据标准进行更精准的管控。每个数据标准都必须归属于唯一的一个标准集,并跟随标准集所属目录实现多级分类管理。

创建及管理标准集

标准模板

  • 标准模板不定义标准,而是定义基于该模板创建的数据标准应该遵循的统一规范和约束,即定义标准属性。标准属性主要包括业务属性、技术属性、管理属性,可拓展主数据属性、数据质量属性、生命周期管理属性等。

  • 创建数据标准时,您需要先选择标准模板和归属的标准集,再基于已定义的模板详情填写标准属性值。

创建及管理标准模板

数据标准

数据标准是为业务、技术和管理提供服务和支持,数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。

创建及管理数据标准

落标映射规则

通过定义标准属性和资产对象元数据字段的匹配关系,实现标准和资产对象的映射关联,是对资产对象进行落标评估的前提条件。

新建和管理落标映射规则

落标评估明细

基于落标映射规则配置和落标监控配置,分别从标准视角和资产对象视角展示数据标准和资产对象的映射关系及对应的评估结果,可作为资产落标率评估和推进研发规范整改的依据。

查看落标评估明细

用户角色和权限

说明

仅支持查询具有“查看”权限的标准,包括:“公开”且未加入的标准集中“已发布”的标准、已加入标准集的全量标准、被指定可见的标准集的全量标准。

用户成员类型

角色类型

说明

超级管理员

系统角色

超级管理员可以指定数据标准管理员,同时在数据标准模块中,等同于数据标准管理员,负责:

  • 标准集的创建及管理,指定每个标准集的维护人员、成员、可见范围及审批模板。

  • 标准的创建及管理。

  • 批量上传数据标准。

  • 新增及管理所有码表,及查看码表的引用情况。

  • 新增及管理所有词根。

  • 新增及管理公共标准集属性。

  • 新建及管理落标映射规则。

  • 查看所有执行成功落标规则的落标明细。

  • 查看所有落标映射规则的执行日志。

  • 新建及管理标准集目录。

  • 新建及管理公共标准属性(自定义)。

  • 查看及管理所有标准和资产对象之间的已映射及无效映射关系。

  • 新建及管理标准模板。

  • 新建及管理标准文档。

数据标准管理员

系统角色

数据标准管理员拥有所有数据标准的查看、操作及管理权限,负责:

  • 标准集的创建及管理,指定每个标准集的维护人员、成员、可见范围及审批模板。

  • 数据标准的创建及管理。

  • 批量上传数据标准。

  • 新增及管理所有码表,及查看码表的引用情况。

  • 新增及管理所有词根。

  • 新增及管理公共标准集属性。

  • 新建及管理落标映射规则。

  • 查看所有执行成功的落标规则的落标明细。

  • 查看所有落标映射规则的执行日志。

  • 新建及管理标准集目录。

  • 新建及管理公共标准属性(自定义)。

  • 查看及管理所有标准和资产对象之间的已映射及无效映射关系。

  • 新建及管理标准模板。

  • 新建及管理标准文档。

标准集维护人员

功能角色

标准集维护人员负责常态化的标准集维护,包括:

  • 编辑、删除可维护的标准集。

  • 标准集属性的增删改查。

  • 在维护的标准集下创建标准,创建后只能编辑、删除自己负责的标准。

  • 在归属的标准集下,批量上传数据标准。

  • 查看码表列表及码表的引用情况。

  • 查看已发布的词根、码表(可编辑、删除自己负责的码表)。

  • 查看有查看权限的标准集对应的执行成功的落标规则的执行日志和落标明细。

  • 查看公共标准属性及公共标准属性列表。

标准集成员

功能角色

  • 标准集成员主要负责在已加入的标准集下创建标准(直接新增或克隆已有标准),并管理自己所负责的标准,创建后只能编辑、删除自己负责的标准。

  • 在归属的标准集下,批量上传数据标准。

  • 查看已发布的词根、码表(可编辑、删除自己负责的码表)。

  • 查看系统标准集属性。

  • 查看码表的引用情况。

  • 查看公共标准属性列表。

标准负责人

数据角色

标准负责人是超级管理员、数据标准管理员、标准集维护人员、标准集成员四种用户成员类型中的一个,除了享有对应角色的权限外,可以:

  • 编辑、提交发布、下线、删除自己所负责的标准。

  • 查看自己负责的标准对应的落标评估明细。

  • 管理自己负责的标准和资产对象之间的已映射及无效映射关系。

落标规则负责人

数据角色

  • 查看已发布的落标映射规则。

  • 编辑、删除自己负责的落标映射规则。

  • 查看自己负责的标准集对应的执行成功的落标规则的执行日志和落标明细。

  • 查看码表的引用情况。

  • 查看公共标准属性列表。

码表负责人

数据角色

  • 编辑、删除自己负责的码表。

  • 查看码表的引用情况。

  • 查看公共标准属性列表。

其他系统角色及普通成员

系统角色

  • 查看有查看权限的标准集下已发布(已生效、待生效、已失效)的标准。

  • 查看已发布的词根、码表。

  • 查看码表的引用情况。

  • 查看公共标准属性列表。

数据标准流程引导

数据标准流程引导能够帮助您熟悉数据标准的配置链路,数据标准的一般使用流程为:

创建标准模板->创建标准集->创建数据标准->标准发布申请->标准审核通过->创建落标映射规则->查看落标映射结果

image.png

  1. 数据标准页面,您可以单击流程引导进入帮助引导弹框。(若标准集列表或数据标准列表未创建对象,您可点击查看引导进入帮助引导弹框)

  2. 帮助引导弹框中,您可以创建标准集、数据标准、码表和词根,以及查看数据标准的整体流程引导和落标映射规则的配置案例说明。

    image.png

数据标准入口

  1. 在Dataphin首页,在顶部菜单栏选择治理 > 数据标准

  2. 在数据标准页面,左侧导航栏为您展示各功能模块的入口。

    image

    一级菜单

    二级菜单

    说明

    数据标准

    数据标准

    数据标准列表,支持查看已加入标准集的全量标准。

    标准集

    标准集列表。

    落地评估

    落标映射规则

    根据标准集属性和资产对象元数据属性配置的映射规则列表,包括映射规则生效范围的配置。

    映射关系

    资产对象和数据标准之间的映射关系列表,包括已确认的映射关系和被指定为无效映射的关系。支持按资产粒度汇总查看或按映射关系全量平铺查看2种模式。其中,支持针对已映射关系配置质量监控规则。

    落标评估明细

    为您展示全局所有参与落标映射及评估的标准和资产对象的评估明细,支持从标准视角和资产对象视角2个视角查看。

    落标执行记录

    为您展示落标映射规则的运行详情及运行日志。

    参考数据

    标准代码(码表)

    标准代码(码表)列表,可查看码表详情。

    词根

    词根列表,可查看词根详情。

    标准文档

    标准文档列表,可查看文档详情。

    通用配置

    公共标准属性

    公共标准属性列表,包括自定义公共属性和系统公共属性。

    标准模板

    标准模板列表,可查看每个标准模板的属性详情以及引用该模板创建的数据标准信息。

    识别特征

    识别特征列表,包括自定义识别特征和系统内置识别特征。