配置集成管道质量监控

权限说明

• 项目开发者支持创建集成任务、配置质量规则并提交发布任务。

• 质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。

新建离线管道质量监控

1. 在Dataphin首页，单击顶部菜单栏的研发。

2. 按照下图指引进入新建质量规则对话框，配置质量规则，监测数据表的质量（配置质量规则需开通资产质量模块）。

   依次单击集成->选择项目->单击离线集成->选择离线管道->单击质量监控->单击新建质量规则。

   

3. 在新建质量规则对话框，配置质量规则参数。

   

   参数	描述
   规则模板	选择规则模板，支持表结构异动监测、表稳定性校验、表波动性校验三个模板。
   数据表	选择该集成管道内适用该规则模板的生产环境数据表，点击更多规则，可跳转至数据质量模块配置更多规则模板，详情请参见创建数据表质量规则。
   规则强度	选择质量规则的强弱： 如果您选择了强规则，则质量规则校验的结果为异常时报警并阻塞下游任务节点。 如果您选择了弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。
   规则配置	当规则模板选择表稳定性校验、表波动性校验需配置。根据所选规则模板不同而配置不同。详情请参见数据表参数配置。
   规则校验	当规则模板选择表稳定性校验、表波动性校验需配置。 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。 异常校验可用指标由模板和配置内容决定，支持多种条件的and / or条件，实际配置中建议小于3条。 详情请参见校验配置说明。
   调度方式	支持定时调度、本任务运行前调度和本任务完成后调度。 定时调度：按照设置的时间，周期性的对数据进行质量检测，适合数据文档产出的场景。 调度周期：包含日、周、月、小时、分钟五种周期类型。 本任务运行前调度：在该集成任务运行前运行质量规则。 本任务完成后调度：在该集成任务运行且成功完成后运行质量规则。
   分区表达式	若数据表为分区表，需配置分区表达式，支持分区表达式类型和自定义分区表达式。分区表达式详情请参见内置分区表达式类型。
   分区预算	当前时间下，根据分析表达式的推算分区。

4. 单击确定，完成质量规则配置。

   说明

   质量规则配置完成后，建议在资产质量模块查看当前监控对象是否已配置能覆盖当前规则的告警，如需配置，请参见告警配置。

配置完成后，可在质量监控抽屉查看规则配置信息，同时您可以对未发布的规则执行编辑和删除操作。

查看已发布质量规则

当打开集成管道的质量规则弹框，Dataphin会自动拉取该管道内所有数据表已配置并发布的所有质量规则，集成管道内仅支持创建质量规则，不支持编辑或修改已发布的规则，如需修改请前往资产质量页面修改，详情请参见创建数据表质量规则。