配置示例:MaxCompute

监控规则是数据质量(DQC)的核心。数据质量支持MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控,本文为您介绍如何配置MaxCompute监控。

操作步骤

步骤一:新增MaxCompute数据源

  1. 进入数据源页面。

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源 > 数据源列表,进入数据源页面。

  2. 单击新增数据源,添加MaxCompute数据源,详情请参见创建MaxCompute数据源

  3. 单击当前页面左上方的图标图标,选择全部产品 > 数据开发与运维 > DataStudio(数据开发)

  4. 在数据开发页面左侧导航栏,单击数据源,绑定已添加的MaxCompute数据源。

    说明

    本示例使用的测试表中添加的测试数据来自MaxCompute公开数据集,实际配置时,请为您的实际业务数据配置质量监控和质量监控规则。

步骤二:进入表质量详情页

  1. 单击当前页面左上方的图标图标,选择全部产品 > 数据治理 > 数据质量

  2. 在左侧导航栏,单击规则配置 > 按表配置

  3. 在左侧数据源列表中,选择数据库后,找到需要配置数据质量规则的表,单击表名或操作列的监控配置,进入该表的表质量详情页。

    说明

    您也可以输入目标表名(支持表名首字母模糊搜索),查找对应的表。

    image

步骤三:创建质量监控

  1. 表质量详情页的规则管理页签,单击质量监控视角后的image进入新建质量监控页面。

  2. 配置质量监控的相关参数。

    说明

    您可以根据表的实际校验需求创建质量监控。创建质量监控的更多信息,详情请参见配置规则:按表(单表)

    image

  3. 单击保存

步骤四:配置数据质量规则

  1. 表质量详情页的规则管理页签,单击新建规则进入规则配置页面。

  2. 本示例使用系统模板,创建数据质量规则。

    说明

    您可以根据表的实际需要创建规则。创建规则的更多信息,详情请参见配置规则:按表(单表)

    image

  3. 将规则添加至步骤三创建的质量监控。

    image

  4. 单击确定

步骤五:测试规则执行

  1. 表质量详情页的质量监控页签,找到已创建的质量监控,单击操作列的测试

    image

  2. 测试运行对话框中,确认数据范围调度时间参数后,单击测试运行

    image

  3. 当显示启动成功后,您可以单击查看详情,查看测试运行的具体结果。

    本示例的MaxCompute测试表中数据量大于2000行,因此质量监控校验结果为红色异常。

    image

  4. 测试规则可以正常触发后,您可以修改质量监控,将触发方式修改为生产调度触发,通过在DataWork的运维中心中,关联指定的周期调度任务,在节点运行完成后,自动触发该质量监控下的质量规则。

步骤六: 订阅质量监控

  1. 表质量详情页的质量监控页签,找到已创建的质量监控,然后单击操作列的更多 > 告警订阅

  2. 配置订阅方式授权对象后,单击保存

    image

相关参考