本文为您介绍如何配置表ods_log_info_d的数据质量监控规则。

前提条件

在进行本实验前,请首先采集元数据,详情请参见收集和查看元数据

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发
  2. 进入ods_log_info_d表的监控规则页面。
    1. 单击左上角的图标图标,选择全部产品 > 数据质量
    2. 在左侧导航栏,单击规则列表,从数据源下拉列表中选择EMR
    3. 单击ods_log_info_d表后的配置监控规则
  3. 添加分区表达式。
    1. 已添加的分区表达式模块,单击+
    2. 添加分区对话框中,选择分区表达式dt=$[yyyymmdd-1],并选择相应的数据质量插件
    3. 单击计算,即可查看调度结果。
    4. 确认无误后,单击确认
  4. 创建规则。
    1. 选中分区后,单击右上角的创建规则
    2. 模板规则对话框中,单击添加监控规则
    3. 配置监控规则。
      规则配置
      参数描述
      规则名称新建规则的名称。
      强弱设置规则的强度为
      动态阈值根据自身需求,选择是否开启动态阈值。
      说明 您需要购买DataWorks企业版及以上版本,才可以使用动态阈值功能。
      规则来源包括内置模板规则模板库
      说明 您需要购买DataWorks企业版及以上版本,才可以选择规则模板库
      规则字段请选择表级规则(table)
      规则模板请选择表行数,固定值
      比较方式请选择大于
      期望值设置为0,即比较方式为期望值大于0。
    4. 配置完成后,单击批量添加
  5. 进行试跑。
    1. 单击页面右上角的试跑
    2. 试跑对话框中,选择调度时间资源组,单击试跑
    3. 试跑完成后,单击试跑成功!点击查看试跑结果,即可跳转至试跑结果页面。
  6. 进行关联调度。
    1. ods_log_info_d表的监控规则页面,单击关联调度
    2. 关联调度对话框中,输入节点ID或节点名称,单击添加
    3. 添加完成后,即可完成与调度节点任务的绑定,则任务实例运行完成都会触发数据质量的检查。
  7. 配置任务订阅。
    1. ods_log_info_d表的监控规则页面,单击订阅管理
    2. 订阅管理对话框中,设置订阅方式接受对象
      目前支持的订阅方式包括邮件通知邮件和短信通知钉钉群机器人钉钉群机器人@ALL
    3. 设置完成后,单击保存,您可以进入我的订阅页面进行查看和修改。