质量评估

质量评估通过用户自定义质量检查计划,根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务,通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。

质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个维度构建数据质量指标体系,来实现对数据质量的量化评估。

  • 完整性:数据完整性是指一个数据集的特定字段或属性都被赋予了数值。

  • 准确性:数据准确性是指数据准确的反映其所建模的“真实世界”的实体。

  • 一致性:数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。

  • 唯一性:数据唯一性是指在一个数据集中,没有重复的记录或信息。

  • 时效性:数据时效性是指数据集按时、按量的更新程度。

  • 规范性:数据规范性是指数据集对数据标准的满足程度。

质量规则管理

质量规则管理页面,查看数仓中配置的全部规则,包括表规则、字段规则、自定义规则。

  • 支持对所有的物理表统一配置的规则。

  • 支持根据资源类型、逻辑表名称、规则名称、启停状态对规则进行筛选和查询。

  • 支持对规则的删除、启停操作,删除和启停后规则的状态需要在数仓同步进行更新。

  • 支持对全部规则、和选中规则进行导入和导出。

  • 支持一键更新生产场景中的质量规则。

质量检测计划管理

质量评估
  • 支持对质量检测计划的创建,可批量选择需要周期执行且已配置好质量规则的数据模型,配置周期检测任务和调度,进行持续质量检测。

  • 支持对计划任务的管理、启动、停止和试跑。

  • 支持对物理表质量结果进行告警订阅,在全景监控模块进行预警(依赖全景监控)。

质量检测任务管理

质量任务
  • 支持对质量检测任务运行实例进行查询和管理。

  • 支持查看任务实例运行结果详情、运行日志进行查看。

  • 支持对质量结果任务运行实例明细进行导出。

质量评估报告

质量报告
  • 支持根据系统数据质量监测运行结果以天的维度自动生成系统整体质量监控报告。

  • 支持根据数据唯一性、准确性、规范性、一致性、时效性和完整性进行多维度评估分析。

物理表监控明细

  • 支持以物理表为维度,查看物理表在数据开发和质量计划检测中最新的数据质量结果。

  • 支持对物理表历史质量实例运行记录进行查看。

  • 支持下载失败数据的脏数据样例至本地进行查看。