如何新建数据源规则_智能数据建设与治理 Dataphin-阿里云帮助中心

Dataphin支持对数据源的连通性和表结构异动进行监测。如果您对数据源的连通性和表结构异动监测有一定诉求，那么您可以为数据源配置质量规则。质量规则定时检测数据源的连通性或数据结构异动，并支持设置异常告警信息，帮助您实时了解数据源连通性和表结构的状况。本文为您介绍如何单独配置数据源的质量规则和批量配置数据源的质量规则。

前提条件

数据表已提交或发布至生产环境。如何发布数据表至生产环境，请参见管理发布任务。

权限说明

超级管理员、质量管理员和资源负责人可以添加监控对象及引入数据源资源。
超级管理员、质量管理员和质量负责人可以批量配置质量规则。
质量负责人、普通用户需具备数据源的同步读权限，如果没有权限，则需要申请数据源权限，详情请参见申请数据源权限。
超级管理员、质量管理员可查看所有数据源的质量规则。
项目成员可查看自己所加入的项目的数据源的质量规则。
普通成员（个人）可查看数据表的质量负责人是自己的数据源的质量规则。

特殊的，若质量规则中开启了权限限制，则优先遵循质量规则的权限限制执行。

从不同视角查看质量规则

Dataphin支持从全局、项目、个人三个视角查看数据源的质量规则。

全局：超级管理员、质量管理员可从全局查看所有数据源质量规则。
项目：超级管理员、质量管理员支持切换所有项目查看数据源的质量规则，项目成员仅可选择已加入的项目并查看该项目下的数据源的质量规则。
个人：超级管理员、质量管理员支持切换至任一成员查看数据源质量规则，普通成员仅可查看质量负责人是自己的数据源质量规则并且不支持切换。

说明

当从项目视角查看质量规则时，筛选项不展示所属项目。
当从个人视角查看质量规则时，筛选项不展示质量负责人。

步骤一：选择数据源

在Dataphin首页，单击顶部菜单栏中的资产。
按照下图操作指引，进入添加监控对象对话框。
在添加监控对象对话框。，选择数据源后单击配置质量规则。
您可以通过选择数据源类型筛选数据源。

步骤二：新建质量规则

在质量规则配置页面，单击新建质量规则。

在新建质量规则对话框，配置参数。

参数	描述
规则名称	自定义质量规则的名称。
规则强度	选择质量规则的强弱：如果您选择了强规则，则质量规则校验的结果为异常时报警，同时在有下游任务的情况下（代码检查调度、任务触发调度）会阻塞下游任务，防止污染数据扩散；如果没有下游任务（如周期质量调度），则仅告警。如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
描述	自定义质量规则描述。不超过128字符。
规则模板	仅支持稳定性。稳定性：包含数据源连通性监测和表结构异动监测。说明连通性监测：配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上，进而导致任务报错，对连通性监测的变化进行加监控告警。表结构异动：上游表的结构变化，如更名、删除、增减字段，进而导致下游报错，对表结构的变化进行加监控告警。
选择校验表	当规则模板选择表结构异动监测时，需选择校验的数据表。

单击确定。

规则配置列表

您可以在规则配置列表页面查看已经配置的数据源规则信息，并进行查看、编辑、试跑、运行、删除等操作。

区域	描述
①筛选及搜索区	支持按照对象或者规则名称进行快捷搜索。支持按照规则类型、规则模板、规则强度、试跑状态、生效状态进行筛选。
②列表区	为您展示规则配置列表的对象名称、规则名称、试跑状态、生效状态、规则类型、规则模板、规则强度、调度类型信息。生效状态：建议生效规则前先进行试跑，针对试跑成功的规则开启生效状态。避免错误的规则阻塞线上任务。开启生效状态后，所选规则会按照配置的调度自动执行。停用生效状态后，所选规则不会自动执行，但可以手动执行。
③操作区	您可进行查看、克隆、编辑、试跑、运行、调度配置、删除操作。查看：可查看规则配置详情。克隆：可快速克隆规则。编辑：编辑规则后，需重新试跑。试跑：试跑后，可单击图标查看试跑日志。运行：运行后，可在校验记录中查看校验结果。调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。删除：删除此质量规则对象将删除对象下的所有质量规则，删除后不可撤销。
④批量操作区	您可单击下方试跑按钮批量试跑质量规则的对象。您可单击下方运行按钮批量运行质量规则的对象。您可单击下方配置调度按钮批量调度配置质量规则的对象。您可单击图标选择开启，批量开启质量规则的对象的生效状态。您可单击图标选择关闭，批量关闭质量规则的对象的生效状态。您可单击图标选择删除，批量删除质量规则的对象。

步骤三：新建调度

说明

规则配置调度时，可以基于该表格当前已有的调度快速进行配置（每个表上限20个调度规则）。
同一个规则最多能配置10个调度。
调度配置完全一致时，支持自动去重。

单击新建调度。

在新建调度对话框，配置参数后单击确定。

参数	描述
调度名称	自定义调度名称。
调度类型	支持定时调度和固定任务触发调度。定时调度：按照设置的时间，周期性的对数据进行质量检测，适合数据文档产出的场景。调度周期：包含日、周、月、小时、分钟五种周期类型。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持指定SQL、离线管道、Python、Shell、Datax、Spark_jar和Hive_MR的任务类型。说明适用于表的修改任务固定的情况。固定任务触发只能选择生产环境任务，若规则强度配置了强规则，调度任务校验失败，可能会影响线上任务，请根据业务需求谨慎操作。触发任务：下拉选择触发任务的任务表。支持选择所有任务均完成触发、任一任务完成即触发和任一任务执行前触发。
调度条件	默认关闭，开启后，在质量规则正式调度前，会先判断是否满足调度条件。满足条件才会正式调度，不满足条件则忽略本次调度。业务日期/执行日期：若调度类型选择定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择普通日历或自定义日历，如何自定义日历，请参见新建公共日历与标签。若选择普通日历，则条件可选月份、星期、日期。例如下图：若选择自定义日历，则条件可选日期类型、标签。例如下图：实例类型：若调度类型选择代码检查触发调度、固定任务触发调度，支持配置实例类型，可选择周期实例、补数据实例、手动实例。例如下图：说明至少配置一条规则。如需添加规则，请单击+添加规则按钮。最多配置10个调度条件。调度条件之间的关系可配置为且、或。

调度配置列表

调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作

区域	描述
①筛选及搜索区	支持按照调度名称进行快捷搜索。支持按照定时调度、固定任务触发调度进行筛选。
②列表区	为您展示规则配置列表的调度名称、调度类型、最后更新人、最后更新时间信息。
③操作区	您可单击操作列下的图标编辑质量规则的调度配置。您可单击操作列下的图标克隆质量规则的调度配置。您可单击操作列下的图标删除质量规则的调度配置，您也可以单击下方的图标批量删除质量规则的调度配置。

步骤四：设置告警

单击告警设置，在告警配置页面，选择告警接收人及告警方式，可选择不超过5个告警接收人及不超过3个告警值班表。
如果质量规则校验的结果为异常，则告警信息会发送至告警接收人。
单击确定。

步骤五：查看质量报告

单击质量报告，查看当前质量规则的规则校验概览和规则校验明细。

您可根据异常结果、分区时间、规则或对象的名称关键字快捷筛选校验明细。
单击图标，查看质量规则的规则校验详情。
单击图标，查看质量规则的执行日志。

步骤六：设置质量规则权限管理

单击权限管理，指定成员查看校验记录详情、质量规则详情、质量报告。
可查看详情：可选择所有成员或仅超级管理员、质量管理员和质量负责人。
单击确定。

批量添加数据源质量规则

批量添加数据源质量规则支持表级和数据源配置，便于提高规则配置效率。

按照下图操作指引，进入添加质量规则页面。

在添加质量规则页面，配置参数。

基本信息配置

数据源基本信息配置

表级基本信息配置

参数	描述
规则名称、规则强度、描述、规则模板、规则类型	详情请参见步骤二：新建质量规则。
对象筛选	需选择数据源类型后，单击筛选按钮筛选数据源。
对象选择	勾选您所需配置的数据源。当规则模板选择稳定性-表结构异动监测，支持表级配置。对象选择需勾选数据表。

单击下一步。
单击取消后，此次配置的质量规则均不添加。
对象详情配置
- 数据源详情配置
  您可查看所选数据源校验信息，也可以修改规则名称，同时，您可以单击操作列下的图标删除该数据源。
- 表级详情配置
  您可查看所选数据源的表校验信息，也可以修改规则名称，同时，您可以单击操作列下的图标删除该表或删除整个数据源。
完成配置后，单击添加规则。
在质量规则列表，配置调度后，单击完成，即可在数据源规则列表页面查看。

批量添加数据源规则列表

说明

建议试跑成功并在生效状态开启下的状态下保存。

批量质量规则创建完成后，您可在规则配置列表进行查看、编辑、试跑、运行、删除等操作。

区域	描述
①筛选及搜索区	支持按照对象或者规则名称进行快捷搜索。支持按照试跑失败、未试跑、未生效、未配置调度进行筛选。
②列表区	为您展示规则配置列表的对象名称、规则名称、试跑状态、生效状态、资源负责人、质量负责人、调度方式信息。生效状态：建议生效规则前先进行试跑，针对试跑成功的规则开启生效状态。避免错误的规则阻塞线上任务。开启生效状态后，所选规则会按照配置的调度自动执行。停用生效状态后，所选规则不会自动执行，但可以手动执行。
③操作区	您可进行查看、编辑、调度配置、试跑、转交质量负责人、删除操作。查看：可查看规则配置详情。编辑：编辑规则后，需重新试跑。调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见步骤三：新建调度。试跑：试跑后，可单击图标查看试跑日志。质量负责人管理：选择需要转交的质量负责人，单击确定。删除：删除此质量规则对象将删除对象下的所有质量规则，删除后不可撤销。
④批量操作区	您可单击下方试跑按钮批量试跑质量规则的对象。您可单击下方配置调度按钮批量调度配置质量规则的对象。详情请参见步骤三：新建调度。您可单击图标选择开启，批量开启质量规则的对象的生效状态。您可单击图标选择关闭，批量关闭质量规则的对象的生效状态。批量管理质量负责人：选择需要转交的质量负责人，单击确定。您可单击图标选择删除，批量删除质量规则的对象。

数据源规则列表

您可以在质量规则列表页面查看已经配置的数据源规则信息，并进行查看、运行、质量负责人管理、删除等操作。

序号	描述
①筛选及搜索区	您可以通过数据源的名称搜索质量规则。您也可以根据我负责的、校验开关、最近一次校验状态、质量负责人、数据源类型、用途条件进行精确筛选。
②列表区	为您展示数据源名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、数据源类型、用途数据源质量规则详细信息，同时您可以在操作列对规则进行查看质量规则详情、运行、查看质量报告、质量负责人管理、删除的操作。查看质量规则详情：可查看数据源质量规则配置详情。运行：可根据配置的调度或自定义分区来运行数据源。查看质量报告：可查看数据源对应的质量报告。质量负责人管理：填写需要转交的质量负责人，可选择不超过20位。删除：删除此质量规则对象将删除对象下的所有质量规则，删除后不可撤销。
③批量操作区	您可以批量选择任务，进行运行、质量负责人管理、开启、关闭、删除、权限管理操作。运行：可根据配置的调度或自定义分区来批量运行数据表。批量管理质量负责人：可批量追加或修改质量负责人。追加：若当前质量管理人列表中的质量负责人已有20位，则不可添加。修改：可将当前质量管理人列表中的质量负责人全部修改成本次的指定的负责人，选择不超过20位。开启/关闭：您可以批量开启或关闭质量规则的校验。删除：您可批量删除此质量规则对象将删除对象下的所有质量规则，删除后不可撤销。权限管理：您可指定成员查看校验记录详情、质量规则详情、质量报告。在质量规则权限管理对话框，选择可查看详情的成员，单击确定。