查看数据探查报告及探查记录

数据探查任务运行结束后,您可查看不同字段数据类型生成的数据探查报告以及探查后字段的统计分布结果。本文为您介绍如何查看数据探查报告和探查记录。

前提条件

需开通数据质量功能模块才可使用数据探查功能。

权限说明

  • 超级管理员和运营管理员支持查看所有数据表的探查报告和探查记录;当前数据表负责人仅可查看自己所负责表的探查报告和探查记录。

  • 项目管理员支持查看所负责项目下物理表的探查报告和探查记录。

  • 板块管理员支持查看所负责板块下逻辑表的探查报告和探查记录。

  • 普通成员可查看有查看权限的探查报告和探查记录。

数据探查入口

  1. 在Dataphin首页,在顶部菜单栏选择治理 > 资产清单

  2. 单击页签,您可以根据表类型筛选物理表、逻辑表、物理视图、逻辑视图、物化视图。

  3. 在表列表中,单击目标表的名称或操作列下的image图标,进入资产详情页面。

  4. 资产详情页面,单击数据质量页签,再单击数据探查

    image

查看数据探查结果

探查任务运行结束后,可查看运行成功且有查看权限的探查结果。

image.png

区域

描述

探查记录

为您展示运行成功且有查看权限的探查记录。

查看探查配置及日志

  • 查看探查配置:可查看探查任务的配置信息。

  • 查看日志:可查看选中探查记录对应的探查任务的运行日志。

探查信息区

为您展示探查分区、探查范围、探查字段个数、探查行数信息。

查看数据探查报告

说明

为了更好的保障敏感数据安全,如果字段配置了脱敏规则,则统计时使用脱敏前的原始值,探查报告展示脱敏后的值。

针对运行成功的探查记录,可查看对应的探查报告,分别展示每个选中参与探查的字段不同探查场景下的探查结果。

image.png

字段值分布

对字段值的分布情况进行统计,并生成字段值分布图,帮助您快速了解字段值分布概况,为后续链路的数据开发和应用提供参考。所有数据类型均支持,不同字段数据类型统计指标不同。

字段值直方图和条形图详情如下:

  • 若该字段为数值型,为您展示当前字段的近似直方图,将原始记录值分为20个区间,折线图展示每个区间内的记录数及该区间内所有记录值的平均值。

  • 若字段类型为文本型日期时间型布尔型,条形图中的其他值为您展示Top20重复值之外的值以及Null值记录数。

    image.png

    image.png

  • 若字段类型为数值型:为您统计该字段已选记录的最大值(Max)、最小值(Min)、平均值(Avg)、Null值记录数、唯一值记录数、标准差、25%分位数、中位数、75%分位数。

  • 若字段类型为文本型:为您统计该字段已选记录的最大字符长度、最小字符长度、平均字符长度、Null值记录数、唯一值记录数。

  • 若字段类型为日期时间型:为您统计该字段已选记录的最大值(Max)、最小值(Min)、Null值记录数、唯一值记录数。

  • 若字段类型为布尔型:为您统计该字段已选记录的Null值记录数。

空值统计

帮助您快速了解字段是否存在空值等异常记录,避免导致相关调度任务运行报错或影响下游数据计算的正确性。建议针对主键字段或不可为空值的字段配置该探查场景,所有数据类型均支持,此外,数值型字段还将为您额外统计的0值记录数、文本型字段将为您额外统计空字符串记录数。

空值统计环形图详情如下:

  • 若字段类型为数值型,为您统计该字段已选记录的探查总记录数、Null值记录数、Null值率、0值记录数、0值率、其他值信息,您可从环形图中总览不同指标的分布情况。

  • 若字段类型为文本型,为您统计该字段已选记录的探查总记录数、Null值记录数、Null值率、空字符串记录数、空字符串率、其他值信息,您可从环形图中总览不同指标的分布情况。

  • 若字段类型为日期时间布尔型,为您统计该字段已选记录的探查总记录数、Null值记录数、Null值率、其他值信息,您可从环形图中总览不同指标的分布情况。

image.png

若字段存在Null值或空字符串的情况,治理建议如下:

  • 若该字段为主键(或不可为空值的字段)且是数值型或文本型,探查结果存在Null值记录数,建议您为该字段配置字段空值校验的质量监控规则,避免阻断下游业务正常使用。

  • 若该字段为主键(或不可为空值的字段)且是文本型,探查结果存在Null值记录数和空字符串记录数,建议您为该字段配置字段空值校验字段空字符串校验的质量监控规则,避免阻断下游业务正常使用。

唯一值统计

为您统计该字段的唯一值记录数及重复值记录数最高的5个字段值。建议针对主键字段不可重复的值或出现频率最高字段的值配置该探查场景,此外,若字段类型为布尔型,不支持唯一值统计。

image.png

若字段存在重复值的情况,治理建议如下:

若该字段为主键且探查结果存在重复值,建议您为该字段配置字段值唯一的质量监控规则,避免阻断下游业务正常使用。

查看数据探查记录

  1. 单击查看探查记录按钮,进入查看探查记录弹框。

  2. 查看探查记录弹框,您可对探查记录执行搜索、查看探查结果、终止等操作。

    image.png

    区域

    描述

    ①搜索及筛选区

    您可根据探查记录的名称进行搜索,也可根据探查状态和探查类型进行筛选。

    ②列表区

    为您展示探查记录的名称、探查类型、探查状态、执行时长信息,同时,您可对探查记录执行查看探查结果、查看运行日志、查看探查配置操作。

    • 查看探查结果:当探查任务运行成功后,可查看探查报告。

    • 查看探查配置:可查看探查任务的配置信息,若是手动探查任务,您可单击底部的基于当前配置发起探查按钮,快速修改部分信息后重新发起新的探查。

      image.png

    • 查看运行日志:可查看选中探查记录对应的探查任务的运行日志。

    • 终止:运行中或等待中的手动或自动探查任务,您可终止该任务。

    • 基于当前配置发起探查:针对手动探查任务,可基于本次探查任务快速填充配置并重新发起新的探查,若是进行中的任务,不可再次发起。