本章节为您介绍逻辑表治理后的质量检测。

前提条件

您已经完成数据加工,详细请参见:添加计算节点数据加工

背景信息

对数据治理后的数据进行质量检测,查看是否满足字段标准。

配置逻辑表质量规则

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 资产加工 > 数据建模,进入数据建模页面。
  3. 单击数据模型设计
  4. 展开创建的数据模型和目录上后,在目录列表下面单击”ods_base_yhkh_di。
  5. 逻辑表详情页面,单击页面右上角编辑按钮,单击数据字段后的编辑,选择关联字段标准,单击数据字段后的确定,所有操作完成之后单击确定
    新建逻辑表编辑配置:
    数据字段描述 关联字段标准
    移动电话1 数据元-手机号码
    性别-标准字典值 数据元-性别
    婚姻状况-标准字典值 数据元-婚姻状况
    职业-标准字典值 数据元-职业
    教育水平-标准字典值 数据元-教育水平
  6. 单击页面质量规则,选择MaxCompute > 质量规则
  7. 单击添加按钮,选择分区表达式后,单击确定
  8. 单击字段规则,单击启用按钮,启用所有字段规则。质量规则查看

新建质量检测计划并试跑

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 质量评估 > 质量检查计划 > 新建计划
  3. 弹出新建计划页面,输入计划名称和code,选择云计算资源、逻辑表、执行周期、生效日期和具体时间,单击创建计划
    新建计划配置:
    计划名称 计划code 添加的模型 执行周期 生效日期 具体时间
    ods层银行客户信息检测 ods_yhkh_check ods_base_yhkh_di 自定义 自定义
  4. 质量检查计划页面查看新建的计划,单击计划后的试跑
  5. 试跑页面,选择调度日期,操作完成后单击试跑
  6. 在试跑成功运行页面,单击任务详情,跳转到质量检查任务页面。
  7. 质量检测任务页面,选择手动执行,单击查询
  8. 单击任务后的详情,查看质量检测详情。
    结果分析:性别、教育水平、婚姻状况、职业在标准字典值,移动号码符合质量校验规则。