Dataphin支持创建并管理数据标准,以保障数据的标准化生产与管理,节约数据应用和处理的成本。
背景信息
数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求,定义过程中需要参考国际标准、国家标准、监管标准、行业标准、行内标准等内部及外部监管标准。
业务方面:通过对实体数据的标准化定义,解决数据不一致、不完整、不准确等问题,消除数据的二义性,使得数据在企业有一个全局的定义,减少了各部门、各系统的沟通成本,提升企业业务处理的效率;标准统一的数据指标体系,让业务人员也能够轻松获取数据,并能够自助式地进行数据分析,为基于数据的业务创新提供可能。
技术方面:统一、标准的数据及数据结构是企业信息共享的基础;标准的数据模型和标准数据为新建系统提供支撑,提升应用系统的开发实施效率;数据标准化清晰定义数据质量规则、数据的来源和去向、校验规则,提升数据质量。
管理方面:通过数据的标准化定义,明确数据的责任主体,为数据安全、数据质量提供保障;统一、标准的数据指标体系为各主题的数据分析提供支持,提升数据处理和分析效率,提供业务指标的事前提示、事中预警、事后提醒,实现数据驱动管理,让决策者快速获取决策信息。
前提条件
已购买数据标准增值服务,详情请参见开通Dataphin。
应用场景
某集团IT团队制定了关于员工性别的数据标准:用male表示男性,用female表示女性,用unknown表示未知。
首先,数据标准管理员创建了性别码表并同步到开发人员;接着创建了员工性别标准,值域范围引用性别码表,并添加了字段值域校验的落标监控;最后创建了落标映射规则。
开发人员在创建集成任务时,查询了性别码表,使用字段计算组件,将来源表中0、1、男、女等不规范的字段值转换为male、female、unknown,接着在目标表的质量规则页面引用了员工性别标准已创建的监控规则并配置调度。任务运行后,基于质量告警发现来源表字段值转换失败,出现了不规范记录,手动修正目标表。
核心概念
名词 | 说明 | 相关文档 |
标准集 | 标准集是规范相似或一致、业务含义相关的一组标准的合集,定义了该集合下的数据标准的管理和查看权限、发布流程的审批模板等信息,以便对数据标准进行更精准的管控。每个数据标准都必须归属于唯一的一个标准集,并跟随标准集所属目录实现多级分类管理。 | |
标准模板 |
| |
数据标准 | 数据标准是为业务、技术和管理提供服务和支持,数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。 | |
落标映射规则 | 通过定义标准属性和资产对象元数据字段的匹配关系,实现标准和资产对象的映射关联,是对资产对象进行落标评估的前提条件。 | |
落标评估明细 | 基于落标映射规则配置和落标监控配置,分别从标准视角和资产对象视角展示数据标准和资产对象的映射关系及对应的评估结果,可作为资产落标率评估和推进研发规范整改的依据。 |
用户角色和权限
仅支持查询具有“查看”权限的标准,包括:“公开”且未加入的标准集中“已发布”的标准、已加入标准集的全量标准、被指定可见的标准集的全量标准。
用户成员类型 | 角色类型 | 说明 |
超级管理员 | 系统角色 | 超级管理员可以指定数据标准管理员,同时在数据标准模块中,等同于数据标准管理员,负责:
|
数据标准管理员 | 系统角色 | 数据标准管理员拥有所有数据标准的查看、操作及管理权限,负责:
|
标准集维护人员 | 功能角色 | 标准集维护人员负责常态化的标准集维护,包括:
|
标准集成员 | 功能角色 |
|
标准负责人 | 数据角色 | 标准负责人是超级管理员、数据标准管理员、标准集维护人员、标准集成员四种用户成员类型中的一个,除了享有对应角色的权限外,可以:
|
落标规则负责人 | 数据角色 |
|
码表负责人 | 数据角色 |
|
其他系统角色及普通成员 | 系统角色 |
|
数据标准流程引导
数据标准流程引导能够帮助您熟悉数据标准的配置链路,数据标准的一般使用流程为:
创建标准模板->创建标准集->创建数据标准->标准发布申请->标准审核通过->创建落标映射规则->查看落标映射结果。
在数据标准页面,您可以单击流程引导进入帮助引导弹框。(若标准集列表或数据标准列表未创建对象,您可点击查看引导进入帮助引导弹框)
在帮助引导弹框中,您可以创建标准集、数据标准、码表和词根,以及查看数据标准的整体流程引导和落标映射规则的配置案例说明。
数据标准入口
在Dataphin首页,在顶部菜单栏选择治理 > 数据标准。
在数据标准页面,左侧导航栏为您展示各功能模块的入口。
一级菜单
二级菜单
说明
数据标准
数据标准
数据标准列表,支持查看已加入标准集的全量标准。
标准集
标准集列表。
落地评估
落标映射规则
根据标准集属性和资产对象元数据属性配置的映射规则列表,包括映射规则生效范围的配置。
映射关系
资产对象和数据标准之间的映射关系列表,包括已确认的映射关系和被指定为无效映射的关系。支持按资产粒度汇总查看或按映射关系全量平铺查看2种模式。其中,支持针对已映射关系配置质量监控规则。
落标评估明细
为您展示全局所有参与落标映射及评估的标准和资产对象的评估明细,支持从标准视角和资产对象视角2个视角查看。
落标执行记录
为您展示落标映射规则的运行详情及运行日志。
参考数据
标准代码(码表)
标准代码(码表)列表,可查看码表详情。
词根
词根列表,可查看词根详情。
标准文档
标准文档列表,可查看文档详情。
通用配置
公共标准属性
公共标准属性列表,包括自定义公共属性和系统公共属性。
标准模板
标准模板列表,可查看每个标准模板的属性详情以及引用该模板创建的数据标准信息。
识别特征
识别特征列表,包括自定义识别特征和系统内置识别特征。