文档

批量上传质量规则

更新时间:

支持通过Excel批量上传质量规则,帮助您为多个数据表配置质量规则,提升配置效率。本文为您介绍如何批量上传质量规则。

前提条件

已发布数据表至生产环境。如何发布数据表至生产环境,请参见管理发布任务

使用说明

  • Dataphin数据表和全域数据表支持通过Excel上传质量规则。

  • 仅支持批量上传自定义SQL的质量规则。

权限说明

  • 质量管理员支持为所有质量监控对象配置质量规则。

  • 质量负责人仅支持为自己所负责的监控对象配置质量规则。

Excel上传质量规则

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 按照下图操作指引,进入批量上传质量规则对话框。

    依次单击质量->质量规则->Dataphin数据表->批量上传

    image

  3. 批量上传质量规则对话框中,上传文件并单击开始校验

    image.png

    参数

    描述

    STEP1 下载上传模板

    若已有模板,可直接执行上传配置文件并开始校验;若没有模板,可点击文件名称下载.xlsx文件。

    说明

    仅支持有质量规则配置权限的用户上传Excel。

    STEP2 上传Excel记录文件

    在模板中添加需要配置的数据表及规则后,上传Excel文件,一次仅可上传一个。Excel文件模板填写与配置单表自定义SQL系统模板的质量规则一致,详情请参见质量规则配置

    说明
    • 单次Excel上传不超过1000行,且文件不超过10M。

    • 仅支持.xlsx文件。

  4. Excel文件上传后,可选择文件兼容策略及查看校验结果。

    image.png

    参数

    描述

    兼容策略

    针对本次上传和线上已有记录冲突时的处理策略,支持覆盖跳过

    • 覆盖:若上传的规则与已有规则同表、同字段以及规则名称相同时,则覆盖线上的规则。

    • 跳过:若上传的规则与已有规则同表、同字段以及规则名称相同时,则跳过线上的重复规则并上传。

    校验结果

    支持查看文件上传中校验通过、校验异常、重复记录的信息。

    • 校验通过:为您展示文件上传通过的记录,包括记录在原始文件中对应行号、监控对象、规则名称信息。

    • 校验异常:在文件上传过程中出现解析或校验失败等异常情况,则为您展示上传异常的记录,包括记录在原始文件中对应的行号、监控对象、规则名称和异常提示。

    • 重复记录:为您展示本次上传内容重复及与线上已有的成功的识别结果重复的记录,包括记录在原始文件中对应的行号、监控对象、规则名称和重复提示信息。

    • 可单击下载校验记录按钮,将对应的校验记录下载成Excel文件。

  5. 单击上传,可在添加质量规则页面添加调度、修改生效状态和质量负责人等操作。配置详情请参见批量添加质量规则列表

后续步骤

完成质量规则上传后,您可在质量规则页面执行查看及管理规则,详情请参见查看监控对象列表