支持通过Excel批量上传质量规则,帮助您为多个数据表配置质量规则,提升配置效率。本文为您介绍如何批量上传质量规则。
前提条件
已发布数据表至生产环境。如何发布数据表至生产环境,请参见管理发布任务。
使用说明
Dataphin数据表和全域数据表支持通过Excel上传质量规则。
仅支持批量上传自定义SQL的质量规则。
权限说明
质量管理员支持为所有质量监控对象配置质量规则。
质量负责人仅支持为自己所负责的监控对象配置质量规则。
Excel上传质量规则
在Dataphin首页,单击顶部菜单栏的资产。
按照下图操作指引,进入Excel上传对话框。
在Excel上传对话框,上传文件后,单击开始校验。
参数
描述
模板下载
若已有模板,可直接执行上传配置文件并开始校验;若没有模板,可点击文件名称下载.xlsx文件。
说明仅支持有质量规则配置权限的用户上传Excel。
记录上传
在模板中添加需要配置的数据表及规则后,上传Excel文件,一次仅可上传一个。Excel文件模板填写与配置单表自定义SQL系统模板的质量规则一致,详情请参见。质量规则配置。
说明单次Excel上传不超过1000行,且文件不超过10M。
仅支持.xlsx文件。
在校验配置页面,配置参数。
参数
描述
校验结果
可查看校验结果的总条数、校验成功条数、校验失败条数(包括表、字段、数据分类)、重复数据-与线上重复的条数、重复数据-本次上传的重复条数。
下载校验结果
支持全量下载本次上传并携带校验结果的文件。
存在校验失败
仅上传成功内容:仅上传校验成功的记录,上传文件中存在单个字段重复打标的情况则采用第一条,适用于快速上传场景。
全部成功后上传:需返回上一步修改至全部内容校验成功才可以上传,不允许上传文件中存在单个字段重复打标的情况,适用于全量更新场景。
去重策略
去重策略是当本次上传和线上已经有的记录冲突时的处理策略,支持覆盖、跳过。
覆盖:若上传的规则与已有规则同表、同字段以及规则名称相同时,则覆盖线上的规则。
跳过:若上传的规则与已有规则同表、同字段以及规则名称相同时,则跳过线上的重复规则并上传。
单击上传,可在添加质量规则页面添加调度、修改生效状态和质量负责人等操作。
区域
描述
①筛选及搜索区
您可根据对象或者规则名称进行快捷搜索。也可根据试跑失败、未试跑、未生效、未配置调度进行筛选质量规则。
②列表区
为您展示规则配置列表的对象名称、规则名称、所属数据表/所属数据板块、试跑状态、生效状态、质量负责人、调度类型信息。
生效状态:建议生效规则前先进行试跑,针对试跑成功的规则开启生效状态。避免错误的规则阻塞线上任务。
开启生效状态后,所选规则会按照配置的调度自动执行。
停用生效状态后,所选规则不会自动执行,但可以手动执行。
③操作区
您可进行查看、编辑、调度配置、试跑、转交质量负责人、删除操作。
查看:可查看规则配置详情。
编辑:编辑规则后,需重新试跑。
调度配置:可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见新建调度。
说明批量配置调度时,需要确保所选资源表的分区表达式一致,如果配置的分区和表实际分区不一致,可能会报错。
批量配置调度时,非分区表不会保存分区表达式,只会保存调度配置。
试跑:试跑后,可单击图标查看试跑日志。
说明批量运行时,建议选择相同分区的表。分区信息会直接下放执行,如果分区不一致可能会报错;同时非分区表不会接受参数,将直接执行。
质量负责人管理:选择需要转交的质量负责人,单击确定。
删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。
④批量操作区
您可单击下方试跑按钮批量试跑质量规则的对象。
说明批量运行时,建议选择相同分区的表。分区信息会直接下放执行,如果分区不一致可能会报错;同时非分区表不会接受参数,将直接执行。
您可单击下方配置调度按钮批量调度配置质量规则的对象。详情请参见新建调度。
说明批量配置调度时,需要确保所选资源表的分区表达式一致,如果配置的分区和表实际分区不一致,可能会报错。
批量配置调度时,非分区表不会保存分区表达式,只会保存调度配置。
您可单击图标选择开启,批量开启质量规则的对象的生效状态。
您可单击图标选择关闭,批量关闭质量规则的对象的生效状态。
批量管理质量负责人:选择需要转交的质量负责人,单击确定。
您可单击图标选择删除,批量删除质量规则的对象。
后续步骤
完成质量规则上传后,您可在质量规则页面执行查看及管理规则,详情请参见查看监控对象列表。
- 本页导读 (0)