数据建模中建立的质量规则需要通过创建质量检查计划并运行后才能实现质量的管控,本文介绍如何新建并启用物理表质量检查计划。
前提条件
操作步骤
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击质量评估。
在左侧导航栏,选择质量检查计划。
在质量检查计划页面,单击新建计划。
在新建质量检查计划页面,输入计划名称、计划Code、选择云计算资源类型及云计算资源、需要检查的物理表并配置执行周期等信息,操作完成后单击创建计划。
配置项
说明
计划名称
用户自定义。
计划Code
用户自定义。
云计算资源类型
支持选择MaxCompute、Hive、HiveStorage、 DataHub Service、Kafka、Lindorm、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL和PolarDB for PostgreSQL。
云计算资源
相应云计算资源类型下的云计算资源标识。
选择物理表
需要执行质量检查计划的物理表。在目标目录下的选中一个或者多个物理表并移动至选中的物理表中。
执行周期
按天和按小时。
生效日期
周期调度的有效时间段,设置后该计划在设置的日期内自动调度。用户可自定义选择起始时间和结束时间,其中时间的选择,支持选择当天及以后的时间。
说明手动执行(试跑)不受这个生效日期的限制。
如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划。
具体时间
选择规则计划运行的时间点。
分区产出检测
开启该项后,质量任务将在配置时间范围内,进行分区产出检测,该时间范围分区数据产出后,即可进行质量规则执行。
当取消选中时,不输出分区检测结果。默认为取消选中。
当选中时,即会根据持续产出的时间和周期输出分区检测结果。
持续检测分区产出时间
当选中分区产出检测参数时,才出现该选项。
用来设置,包含分区字段的待检查物理表分区数据产出的检测时间,保证分区的数据无遗漏。
检查周期
当选中分区产出检测参数时,才出现该选项。
用来设置待检查的物理表中分区数据产出时间的检测周期。
新建完质量检查计划后,单击操作列的启用,在提醒对话框中,单击启用计划,启用质量检查计划。
启用以后,可以根据设置的调度周期,查看已创建的质量检查计划任务的执行详情。
如果设置的周期调度还未开始,可以手动执行调度:
在质量检查计划页面,单击操作列的试跑。
在试跑对话框中,选择调度日期,单击试跑。
试跑成功运行后,单击后面的任务详情,可查看该手动任务的执行结果,更多信息,请参见查看物理表质量检查任务。
说明试跑为一次性任务,对应任务类型中的“手动执行”。
相关操作
在质量检查计划页面,可进行以下操作:
操作 | 说明 |
编辑质量检查计划 | 单击操作列的编辑,可以编辑未启用的计划基本信息、数据源类型及云计算资源、配置执行周期等信息,单击保存。 |
查看质量检查计划 | 单击操作列的查看,可以查看计划基本信息、数据源类型及云计算资源、配置执行周期等信息。 说明 单击重置,可关闭设置的过滤条件,恢复到默认状态,默认显示全部质量检查计划。 |
删除质量检查计划 | 单击操作列的删除,出现删除提醒对话框,单击确定,可以删除已新建的质量检查计划。 说明 仅当质量检查计划处于未启用状态时,才支持删除,如果已启用,则需要停止启用后才能删除。 |
查看质量检查计划操作记录 | 单击操作列的操作记录,查看质量检查计划的开始时间、任务类型、操作结果、异常等信息。 |
查看质量检查计划任务详情 | 单击操作列的任务详情,进入质量检查任务页面,查看任务的执行、任务运行状态等信息,具体操作,请参见查看物理表质量检查任务。 |