新建实时元表规则
本文为您介绍如何新建实时元表规则。
元表规则说明
系统支持创建的实时元表规则说明如下。
规则类型 |
描述 |
统计趋势监测 |
统计趋势监测校验数据值及数据变化趋势。 |
实时多链路对比 |
在业务有强保障场景中,可以通过实时双链路或实时三链路质量规则,监测数据。如果有异常,运维人员能够及时切换或备份数据。实时多链路对比质量规则支持监控数据滞留、统计偏差等问题。 |
实时离线数据核对 |
实时数据与离线数据在使用相同统计路逻辑时,实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大,可能存在数据质量的问题。 |
新建质量规则
在Dataphin首页,单击顶部菜单栏的资产。
在资产页面,按照下图操作指引,添加质量规则对话框。
在添加质量规则对话框,选择数据表后单击开始配置。
您也可以选择环境、所属项目来筛选数据表。
在质量规则配置页面,配置质量规则。
单击新建质量规则。
在创建质量规则对话框,配置参数。
参数
描述
规则名称
自定义质量规则的名称。
规则强度
选择质量规则的强弱:
如果您选择了强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。
如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
描述
自定义质量规则描述。不超过128字符。
规则模板
下拉可选择规则模板,一致性、稳定性。
一致性:包含实时离线对比和实时对链路对比。
稳定性:包含实时统计值检测。
详情请参见模板说明。
规则类型
规则类型包含系统类型和自定义类型。
系统类型和模板有关,是模板最基础的属性。
支持用户自定义模板的类型,作为说明和筛选功能。
规则配置
根据所选的规则模板进行规则配置。详情请参见实时离线对比参数说明、实时多链路对比参数说明。
异常校验
数据质量规则校验后,结果会和异常校验的配置进行对比,符合条件则校验结果为不通过;同时触发告警等后续流程。
异常校验可用指标由模板和配置内容决定,支持多种条件的and / or条件,实际配置中建议小于3条。
实时离线对比参数说明
参数
描述
校验字段
选择需要校验的字段。
指标算子
选择数据的算法。
对象形式
选择单值数据和多值数据。
时间限定条件
选择时间限定的字段。
开启条件限定
选择开启或关闭条件限定。
离线数据
下拉选择离线数据表。
离线取数
通过SQL语句配置离线数据表的取数。
时区设置
下拉选择时区。
实时多链路对比参数说明
参数
描述
校验字段
选择需要校验的字段。
指标算子
选择数据的算法。
对象形式
选择单值数据和多值数据。
时间限定条件
选择时间限定的字段。
开启条件限定
选择开启或关闭条件限定。
对比链路数
选择质量规则的对比链路数。系统支持选择实时三链路对比和实时双链路对比。
对比链路1
选择实时元表作为对比链路数据:
如果模板选择了实时双链路对比,则只需要选择一个实时元表。
如果模板选择了实时三链路对比,则需要选择两个实时元表。
时区设置
拉选择时区。
模板说明
模板类型
模板详情分类
说明
一致性
实时离线对比
当实时数据与离线数据使用相同的统计逻辑时,用于数据的最终值差异的校验。如果差异较大,可能存在较大数据质量的问题需要进行确认和修复。
实时多链路对比
高可用场景下,需要构建多条链路,以便数据出现异常时,能够及时切换。
对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题,提升实时数据质量
稳定性
实时统计值检测
实时数据为指标值或可统计数据时,用于判断数据是否正确
可选择和固定值或者历史进行对比
单击预览SQL。
说明关键信息没有填写完整,预览SQL不可用。
左边为上次保存配置SQL预览,若未配置,则为空;右边为当前配置SQL预览。
单击确定,完成质量规则的配置。
规则配置列表
您可以在规则配置列表页面查看已经配置的元表规则信息,并进行查看、编辑、试跑、运行、删除等操作。

区域 |
描述 |
① |
搜索区:支持按照对象或者规则名称进行快捷搜索。 筛选区:支持按照规则类型、规则模板、规则强度、试跑状态、生效状态进行筛选。 |
② |
展示区:展示规则配置列表的对象名称、规则名称、试跑状态、生效状态等信息。 |
③ |
操作区:您可进行查看、克隆、编辑、试跑、运行、调度配置、删除操作。
|
④ |
批量操作区:
|
新建调度
规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。
同一个规则最多能配置10个调度。
调度配置完全一致时,支持自动去重
单击新建调度。
在新建调度对话框,配置参数后单击确定。
参数
描述
调度名称
自定义调度名称。
调度方式
支持定时调度、代码检查触发调度和固定任务触发调度。
定时调度:按照设置的时间,周期性的对数据进行质量检测,适合数据文档产出的场景。
调度周期:包含日、周、月、小时、分钟五种周期类型。
代码检查触发调度:在每一个代码任务执行时,会检查是否修改了该规则所覆盖的表/分区;如果涉及到配置了该调度方式的表发生变更,则会开始执行质量规则。
说明适用于表的修改任务不固定/重点监控表,每次变更都需要监控的情况。
固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。
说明适用于表的修改任务固定的情况。
触发任务:支持选择所有任务均完成触发或任一任务完成即触发。
调度配置列表
调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作。

区域 |
描述 |
① |
搜索区:支持按照调度名称进行快捷搜索。 筛选区:支持按照定时调度、触发调度进行筛选。 |
② |
展示区:展示规则配置列表的调度名称、调度类型等信息。 |
③ |
操作区:
|
④ |
批量操作区: 如需批量删除质量规则的调度配置,您可单击图标进行批量删除。 |
告警配置
单击告警设置,在告警设置对话框,选择告警接收人及告警方式后,单击确定。

查看质量报告
单击质量报告,查看当前质量规则的规则校验概览和规则校验明细。
单击
图标,查看质量规则的规则校验详情。
单击
图标,查看质量规则的执行日志。
实时元表规则列表
您可以在质量规则列表页面查看已经配置的实时元表规则信息,并进行查看、运行、转交质量负责人、删除等操作。

序号 |
描述 |
① |
过滤项:您可以通过筛选条件过滤需要查询的质量规则。 您可以根据我负责的、表名称、校验开关、最近一次校验状态、质量负责人、数据板块、资源负责人、所属项目条件进行精确筛选。 |
② |
展示区:为您展示表名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、数据源板块、所属项目、资源负责人实时元表质量规则详细信息,同时您可以在操作列对规则进行查看质量规则详情、运行、查看质量报告、转交质量负责人、删除的操作。
|
③ |
批量操作区:您可以批量选择任务,进行运行、转交、开启、关闭、删除操作。 |