新建数据源规则
Dataphin支持对数据源的连通性和表结构异动进行监测。如果您对数据源的连通性和表结构异动监测有一定诉求,那么您可以为数据源配置质量规则。质量规则定时检测数据源的连通性或数据结构异动,并支持设置异常告警信息,帮助您实时了解数据源连通性和表结构的状况。本文为您介绍如何配置数据源的质量规则。
前提条件
数据表已提交或发布至生产环境。
步骤一:新建质量规则
在Dataphin首页,单击顶部菜单栏中的资产。
在数据资产页面,按照下图操作指引,进入添加质量规则对话框。
在添加质量规则对话框,选择数据源后单击开始配置。
您可以通过选择数据源类型筛选数据源。
步骤二:新建质量规则
在质量规则配置页面,单击新建质量规则。
在新建质量规则对话框,配置参数。
参数
描述
规则名称
自定义质量规则的名称。
规则强度
选择质量规则的强弱:
如果您选择了强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。
如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
描述
自定义质量规则描述。不超过128字符。
规则模板
仅支持稳定性。
稳定性:包含数据源连通性监测和表结构异动监测。
说明连通性监测:配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上,进而导致任务报错,对连通性监测的变化进行加监控告警。
表结构异动:上游表的结构变化,如更名、删除、增减字段,进而导致下游报错,对表结构的变化进行加监控告警。
单击确定。
规则配置列表
您可以在规则配置列表页面查看已经配置的数据源规则信息,并进行查看、编辑、试跑、运行、删除等操作。

区域 |
描述 |
① |
搜索区:支持按照对象或者规则名称进行快捷搜索。 筛选区:支持按照规则类型、规则模板、规则强度、试跑状态、生效状态进行筛选。 |
② |
展示区:展示规则配置列表的对象名称、规则名称、试跑状态、生效状态等信息。 |
③ |
操作区:您可进行查看、克隆、编辑、试跑、运行、调度配置、删除操作。
|
④ |
批量操作区:
|
步骤三:新建调度
规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。
同一个规则最多能配置10个调度。
调度配置完全一致时,支持自动去重
单击新建调度。
在新建调度对话框,配置参数后单击确定。
参数
描述
调度名称
自定义调度名称。
调度方式
支持定时调度和固定任务触发调度。
定时调度:按照设置的时间,周期性的对数据进行质量检测,适合数据文档产出的场景。
调度周期:包含日、周、月、小时、分钟五种周期类型。
固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。
说明适用于表的修改任务固定的情况。
触发任务:下拉选择触发任务的任务表。支持选择所有任务均完成触发或任一任务完成即触发。
调度配置列表
调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作

区域 |
描述 |
① |
搜索区:支持按照调度名称进行快捷搜索。 筛选区:支持按照定时调度、触发调度进行筛选。 |
② |
展示区:展示规则配置列表的调度名称、调度类型等信息。 |
③ |
操作区:
|
步骤四:设置告警
如果质量规则校验的结果为异常,则告警信息会发送至告警接收人。
单击告警设置,在告警设置对话框,选择告警接收人及告警方式后,单击确定。

步骤五:查看质量报告
单击质量报告,查看当前质量规则的规则校验概览和规则校验明细。
单击
图标,查看质量规则的规则校验详情。
单击
图标,查看质量规则的执行日志。
数据源规则列表
您可以在质量规则列表页面查看已经配置的数据源规则信息,并进行查看、运行、转交质量负责人、删除等操作。

序号 |
描述 |
① |
过滤项:您可以通过筛选条件过滤需要查询的质量规则。 您可以根据我负责的、数据源名称、校验开关、最近一次校验状态、质量负责人、数据源类型、用途、资源负责人条件进行精确筛选。 |
② |
展示区:为您展示数据源名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、数据源类型、用途、资源负责人数据源质量规则详细信息,同时您可以在操作列对规则进行查看质量规则详情、运行、查看质量报告、转交质量负责人、删除的操作。
|
③ |
批量操作区:您可以批量选择任务,进行运行、转交、开启、关闭、删除操作。 |