如何新建实时元表规则_智能数据建设与治理 Dataphin(Dataphin)-阿里云帮助中心

本文为您介绍如何新建实时元表规则。

前提条件

已经添加监控对象才可配置质量规则，如何添加监控对象，请参见添加监控对象。

权限说明

超级管理员、质量管理员和实时元表负责人支持为质量规则配置调度、告警等。
质量负责人、普通用户需要额外具备实时元表的同步读取权限，如需申请实时元表权限，详情请参见申请、续期和交还表权限。

质量规则试跑和运行区别

试跑和运行的区别在于执行的方式和显示的结果，试跑指对某个质量规则进行一次模拟执行，以检测规则的正确性和运行情况，试跑的结果不会在质量报告中显示；运行指在特定时间内对质量规则进行检查，运行的结果会输出到质量报告中，便于用户查看和分析。

元表规则说明

规则类型	描述
统计趋势监测	统计趋势监测校验数据值及数据变化趋势。
实时多链路对比	在业务有强保障场景中，可以通过实时双链路或实时三链路质量规则，监测数据。如果有异常，运维人员能够及时切换或备份数据。实时多链路对比质量规则支持监控数据滞留、统计偏差等问题。
实时离线数据核对	实时数据与离线数据在使用相同统计路逻辑时，实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大，可能存在数据质量的问题。

质量规则配置

在Dataphin首页，单击顶部菜单栏的资产。
按照下图操作指引，进入质量规则详情页面，配置质量规则。
在质量规则详情页面，单击新建质量规则。

在创建质量规则对话框，配置参数。

参数	描述
规则名称	自定义质量规则的名称。
规则强度	支持弱规则和强规则。如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。如果您选择了强规则，则质量规则校验的结果为异常时报警，同时在有下游任务的情况下（代码检查调度、任务触发调度）会阻塞下游任务，防止污染数据扩散；如果没有下游任务（如周期质量调度），则仅告警。
描述	自定义质量规则描述。不超过128字符。
规则模板	下拉可选择规则模板，一致性、稳定性。一致性：包含实时离线对比和实时对链路对比。稳定性：包含实时统计值检测。详情请参见实时元表模板类型。
规则类型	规则类型和模板有关，是模板最基础的属性，可作为说明和筛选功能。
规则配置	根据所选的规则模板进行规则配置。详情请参见离线链路对比参数配置、多链路对比参数配置。
校验配置	数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见校验配置说明。

单击确定，完成质量规则的配置。
预览SQL
说明
- 关键信息没有填写完整，预览SQL不可用。
- 左边为上次保存配置SQL预览，若未配置，则为空；右边为当前配置SQL预览。

规则配置列表

您可以在规则配置列表页面查看已经配置的元表规则信息，并进行查看、编辑、试跑、运行、删除等操作。

区域	描述
①筛选及搜索区	支持按照对象或规则名称进行快捷搜索。支持按照规则类型、规则模板、规则强度、试跑状态、生效状态进行筛选。
②列表区	为您展示规则配置列表的对象名称、规则名称、试跑状态、生效状态、规则类型、规则模板、规则强度、调度类型、相关知识库文档信息。生效状态：建议生效规则前先进行试跑，针对试跑成功的规则开启生效状态。避免错误的规则阻塞线上任务。开启生效状态后，所选规则会按照配置的调度自动执行。停用生效状态后，所选规则不会自动执行，但可以手动执行。相关知识库文档：点击查看详情，查看规则关联的知识库信息。包括表名称、校验对象、规则、相关知识库文档信息，同时，您可对知识库执行搜索、查看、编辑、删除操作。操作详情请参见查看知识库。
③操作区	您可进行查看、克隆、编辑、试跑、运行、调度配置、关联知识库文档、删除操作。查看：可查看规则配置详情。克隆：可快速克隆规则。编辑：编辑规则后，需重新试跑。试跑：试跑后，可单击图标查看试跑日志。运行：运行后，可在校验记录中查看校验结果。调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见新建及管理知识库。删除：删除此质量规则对象将删除对象下的所有质量规则，删除后不可撤销。
④批量操作区	您可批量进行试跑、运行、配置调度、开启、关闭、关联知识库文档、删除操作。试跑：支持批量试跑规则，试跑后，可单击图标查看试跑日志。运行：支持批量运行规则，运行后，可在校验记录中查看校验结果。调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则的对象的生效状态，停用生效状态后，所选规则不会自动执行，但可以手动执行。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持为监控对象批量配置知识库。如需创建，请参见新建及管理知识库。删除：支持批量删除质量规则的对象，删除后不可撤销，请谨慎操作。

新建调度

说明

规则配置调度时，可以基于该表格当前已有的调度快速进行配置（每个表上限20个调度规则）。
同一个规则最多能配置10个调度。
调度配置完全一致时，支持自动去重。

在质量规则详情页面，按照下图操作指引，进入新建调度对话框。

在新建调度对话框，配置参数。

参数	描述
调度名称	自定义调度名称。
调度类型	支持定时调度、数据更新触发调度和固定任务触发调度。定时调度：按照设置的时间，周期性地对数据进行质量检测，适合数据文档产出的场景。调度周期：包含日、周、月、小时、分钟五种周期类型。数据更新触发调度：在每一个代码任务执行时，会检查是否修改了该规则所覆盖的表/分区；如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明适用于表的修改任务不固定/重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务类型触发任务。说明适用于表的修改任务固定的情况。固定任务触发只能选择生产环境任务，若规则强度配置了强规则，调度任务校验失败，可能会影响线上任务，请根据业务需求谨慎操作。触发任务：支持选择所有任务均完成触发、任一任务完成即触发和任一任务执行前触发。
调度条件	默认关闭，开启后，在质量规则正式调度前，会先判断是否满足调度条件。满足条件才会正式调度，不满足条件则忽略本次调度。业务日期/执行日期：若调度类型选择定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择普通日历或自定义日历，如何自定义日历，请参见新建公共日历。若选择普通日历，则条件可选月份、星期、日期。例如下图：若选择自定义日历，则条件可选日期类型、标签。例如下图：实例类型：若调度类型选择数据更新触发调度、固定任务触发调度，支持配置实例类型，可选择周期实例、补数据实例、手动实例。例如下图：说明至少配置一条规则。如需添加规则，请单击+添加规则按钮。最多配置10个调度条件。调度条件之间的关系可配置为且、或。

单击确定，完成调度配置。

调度配置列表

调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。

区域	描述
①筛选及搜索区	支持按照调度名称进行快捷搜索。支持按照定时调度、数据更新触发调度、固定任务触发调度进行筛选。
②列表区	为您展示规则配置列表的调度名称、调度类型、最后更新人、最后更新时间信息。
③操作区	您可对调度执行编辑、克隆、删除操作。编辑：可修改已配置的调度信息。重要所有引用此调度的规则配置将同步改变，请谨慎操作。克隆：可快速复制调度配置。删除：被规则配置引用的调度不支持删除。

告警配置

您可以给不同的规则配置不同的告警方式以实现区分告警，如：为强规则异常配置电话告警，弱规则异常配置短信告警；如果一个规则同时命中了多条告警配置，支持设置告警的生效策略。

说明

单个监控对象下支持创建不超过20个告警配置。

在质量规则详情页面，按照下图指引，进入新建告警配置对话框。

在新建告警配置对话框，配置参数。

参数	描述
覆盖范围	支持选择所有规则、所有强规则、所有弱规则和自定义。说明单个监控对象下，所有规则、所有强规则和所有弱规则3种范围支持各配置一条告警，后续新增的规则根据规则强度自动匹配对应的告警；如需变更其中的某一条告警配置，可修改已有配置。自定义范围可选择当前监控对象下已配置的所有规则，不超过200条。
告警配置名称	单个监控对象下告警配置名称唯一；不超过256字符。
告警接收人	配置告警接收人及告警方式。需选择至少一种告警接收人及告警方式。告警接收人：支持选择自定义、值班表和质量负责人三种告警接收人。支持配置不超过5个自定义告警接收人；支持配置不超过3个值班表。告警方式：支持选择电话、邮件、短信、钉钉不同的接收方式。

单击确定，完成告警配置。

告警配置列表

告警配置完成后，您可在告警配置列表中进行排序、编辑、删除操作。

序号	描述
①排序区	支持配置一条质量规则符合多条告警配置时的告警生效策略：命中的第一条告警配置生效：选择该告警策略时，只有规则命中的第一条告警配置生效，其他配置均不生效，此时支持对已配置的告警进行排序。单击规则排序，您可以选中告警配置名称前的图标进行拖拽排序或选择操作列下的图标进行移动，图标从左到右依次为：置顶、置底。调整完告警顺序后，单击排序完成按钮，完成排序。所有告警配置均生效：当前告警配置列表中的告警对当前监控对象下的质量规则均生效。例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明值班表不支持告警合并。
②列表区	为您展示告警配置的名称、生效范围、每种告警类型的具体接收人以及对应的告警接收方式。生效范围：自定义告警支持查看配置的对象名和规则名，若该规则被删除，则无法查看对象名，建议您更新告警配置。
③操作区	您可对配置的告警执行编辑和删除操作。编辑：支持修改已配置的告警信息。若修改告警接收人和告警方式，请及时同步相关人员，避免遗漏业务告警信息。删除：删除后，此条告警配置命中的规则将不再生效，请谨慎操作。