新建实时元表规则

元表规则说明

系统支持创建的实时元表规则说明如下。

新建质量规则

1. 在Dataphin首页，单击顶部菜单栏的资产。

2. 在资产页面，按照下图操作指引，添加质量规则对话框。

   

3. 在添加质量规则对话框，选择数据表后单击开始配置。

   您也可以选择环境、所属项目来筛选数据表。

   

4. 在质量规则配置页面，配置质量规则。

   1. 单击新建质量规则。

      

   2. 在创建质量规则对话框，配置参数。

      

      参数		描述
      规则名称		自定义质量规则的名称。
      规则强度		选择质量规则的强弱： 如果您选择了强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。 如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
      描述		自定义质量规则描述。不超过128字符。
      规则模板		下拉可选择规则模板，一致性、稳定性。 一致性：包含实时离线对比和实时对链路对比。 稳定性：包含实时统计值检测。 详情请参见模板说明。
      规则类型		规则类型包含系统类型和自定义类型。 系统类型和模板有关，是模板最基础的属性。 支持用户自定义模板的类型，作为说明和筛选功能。
      规则配置		根据所选的规则模板进行规则配置。详情请参见实时离线对比参数说明、实时多链路对比参数说明。
      异常校验		数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。 异常校验可用指标由模板和配置内容决定，支持多种条件的and / or条件，实际配置中建议小于3条。

      实时离线对比参数说明

      参数	描述
      校验字段	选择需要校验的字段。
      指标算子	选择数据的算法。
      对象形式	选择单值数据和多值数据。
      时间限定条件	选择时间限定的字段。
      开启条件限定	选择开启或关闭条件限定。
      离线数据	下拉选择离线数据表。
      离线取数	通过SQL语句配置离线数据表的取数。
      时区设置	下拉选择时区。

      实时多链路对比参数说明

      参数	描述
      校验字段	选择需要校验的字段。
      指标算子	选择数据的算法。
      对象形式	选择单值数据和多值数据。
      时间限定条件	选择时间限定的字段。
      开启条件限定	选择开启或关闭条件限定。
      对比链路数	选择质量规则的对比链路数。系统支持选择实时三链路对比和实时双链路对比。
      对比链路1	选择实时元表作为对比链路数据： 如果模板选择了实时双链路对比，则只需要选择一个实时元表。 如果模板选择了实时三链路对比，则需要选择两个实时元表。
      时区设置	拉选择时区。

      模板说明

      模板类型	模板详情分类	说明
      一致性	实时离线对比	当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。
      	实时多链路对比	高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。 对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量
      稳定性	实时统计值检测	实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比

5. 单击预览SQL。

   说明

   • 关键信息没有填写完整，预览SQL不可用。

   • 左边为上次保存配置SQL预览，若未配置，则为空；右边为当前配置SQL预览。

   

6. 单击确定，完成质量规则的配置。

规则配置列表

您可以在规则配置列表页面查看已经配置的元表规则信息，并进行查看、编辑、试跑、运行、删除等操作。

新建调度

1. 单击新建调度。

   

2. 在新建调度对话框，配置参数后单击确定。

   

   参数	描述
   调度名称	自定义调度名称。
   调度方式	支持定时调度、代码检查触发调度和固定任务触发调度。 定时调度：按照设置的时间，周期性的对数据进行质量检测，适合数据文档产出的场景。 调度周期：包含日、周、月、小时、分钟五种周期类型。 代码检查触发调度：在每一个代码任务执行时，会检查是否修改了该规则所覆盖的表/分区；如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。 说明 适用于表的修改任务不固定/重点监控表，每次变更都需要监控的情况。 固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。 说明 适用于表的修改任务固定的情况。 触发任务：支持选择所有任务均完成触发或任一任务完成即触发。

调度配置列表

调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。

告警配置

单击告警设置，在告警设置对话框，选择告警接收人及告警方式后，单击确定。

查看质量报告

单击质量报告，查看当前质量规则的规则校验概览和规则校验明细。

• 单击图标，查看质量规则的规则校验详情。

• 单击图标，查看质量规则的执行日志。

  

实时元表规则列表

您可以在质量规则列表页面查看已经配置的实时元表规则信息，并进行查看、运行、转交质量负责人、删除等操作。