资产质量概述

资产质量基于Dataphin平台,为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。

前提条件

已购买资产质量增值服务,详情请参见开通Dataphin

背景信息

面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、一致性、有效性,助您真正能够依赖数据进行经营决策。

数据质量流程引导

数据质量流程引导帮助您从(可选)配置规则模板->引入监控对象->配置质量规则->规则校验->查看校验记录查看质量报告->进行质量整改的整体流程引导。

质量规则使用场景

在开发中,资产质量提供着重要的数据质量保障作用。

质量校验过程中,发现质量异常,根据规则设置的强弱属性,判断是否需要熔断下游任务防止异常数据扩散。

  • 如果是强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。

  • 如果是弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。

image..png

功能概述

  • 资产质量支持Dataphin数据表、全域数据表、指标、数据源和实时元表的规则校验及整改。

    • Dataphin数据表支持多种表类型(如物理表、事实逻辑表、维度逻辑表、汇总逻辑表)的规则校验和整改。

    • 全域数据表支持多种数据源类型(如MaxCompute、Hive、Mysql、Oracle、Microsoft SQL Server、PostgreSQL、SAP HANA、AnalyticDB for PostgreSQL、ClickHouse、IBM DB2、DM、Hologres、AgroDB)下的数据表规则校验和整改。

    • 支持对指标的字段分组个数、字段重复值个数、字段稳定性及字段波动性进行监控、异常报警及整改。

    • 支持对数据源的连通性和表结构异动进行监测、异常报警及整改。

    • 支持对实时元表进行统计值检测、实时离线对比和实时多链路对比、异常报警及整改。

  • 资产质量提供全链路的数据质量解决方案,包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性,从而避免因为数据质量问题而导致数据失信、决策失误。

资产质量包括质量概览质量监控质量治理

  • 质量概览为您展示质量规则校验的表数、校验结果为异常的表数等信息,帮助您从整体质量规则校验结果的视角出发,快速识别并处理异常的校验结果。

  • 质量监控为您提供质量规则列表、配置质量规则、查看校验记录、查看质量报告功能。

  • 质量治理帮助您查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作,从而实现资产质量从制定计划到实现整改的PDCA完整流程,有效提升数据质量。