批量上传质量规则

前提条件

已发布数据表至生产环境。如何发布数据表至生产环境，请参见管理发布任务。

使用说明

• Dataphin数据表和全域数据表支持通过Excel上传质量规则。

• 仅支持批量上传自定义SQL的质量规则。

权限说明

• 质量管理员支持为所有质量监控对象配置质量规则。

• 质量负责人仅支持为自己所负责的监控对象配置质量规则。

Excel上传质量规则

1. 在Dataphin首页，单击顶部菜单栏的资产。

2. 按照下图操作指引，进入Excel上传对话框。

   

3. 在Excel上传对话框，上传文件后，单击开始校验。

   

   参数	描述
   模板下载	若已有模板，可直接执行上传配置文件并开始校验；若没有模板，可点击文件名称下载.xlsx文件。 说明 仅支持有质量规则配置权限的用户上传Excel。
   记录上传	在模板中添加需要配置的数据表及规则后，上传Excel文件，一次仅可上传一个。Excel文件模板填写与配置单表自定义SQL系统模板的质量规则一致，详情请参见。质量规则配置。 说明 单次Excel上传不超过1000行，且文件不超过10M。 仅支持.xlsx文件。

4. 在校验配置页面，配置参数。

   

   参数	描述
   校验结果	可查看校验结果的总条数、校验成功条数、校验失败条数（包括表、字段、数据分类）、重复数据-与线上重复的条数、重复数据-本次上传的重复条数。
   下载校验结果	支持全量下载本次上传并携带校验结果的文件。
   存在校验失败	仅上传成功内容：仅上传校验成功的记录，上传文件中存在单个字段重复打标的情况则采用第一条，适用于快速上传场景。 全部成功后上传：需返回上一步修改至全部内容校验成功才可以上传，不允许上传文件中存在单个字段重复打标的情况，适用于全量更新场景。
   去重策略	去重策略是当本次上传和线上已经有的记录冲突时的处理策略，支持覆盖、跳过。 覆盖：若上传的规则与已有规则同表、同字段以及规则名称相同时，则覆盖线上的规则。 跳过：若上传的规则与已有规则同表、同字段以及规则名称相同时，则跳过线上的重复规则并上传。

5. 单击上传，可在添加质量规则页面添加调度、修改生效状态和质量负责人等操作。

   

   区域	描述
   ①筛选及搜索区	您可根据对象或者规则名称进行快捷搜索。也可根据试跑失败、未试跑、未生效、未配置调度进行筛选质量规则。
   ②列表区	为您展示规则配置列表的对象名称、规则名称、所属数据表/所属数据板块、试跑状态、生效状态、质量负责人、调度类型信息。 生效状态：建议生效规则前先进行试跑，针对试跑成功的规则开启生效状态。避免错误的规则阻塞线上任务。 开启生效状态后，所选规则会按照配置的调度自动执行。 停用生效状态后，所选规则不会自动执行，但可以手动执行。
   ③操作区	您可进行查看、编辑、调度配置、试跑、转交质量负责人、删除操作。 查看：可查看规则配置详情。 编辑：编辑规则后，需重新试跑。 调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见新建调度。 说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。 批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。 试跑：试跑后，可单击图标查看试跑日志。 说明 批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错；同时非分区表不会接受参数，将直接执行。 质量负责人管理：选择需要转交的质量负责人，单击确定。 删除：删除此质量规则对象将删除对象下的所有质量规则，删除后不可撤销。
   ④批量操作区	您可单击下方试跑按钮批量试跑质量规则的对象。 说明 批量运行时，建议选择相同分区的表。分区信息会直接下放执行，如果分区不一致可能会报错；同时非分区表不会接受参数，将直接执行。 您可单击下方配置调度按钮批量调度配置质量规则的对象。详情请参见新建调度。 说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。 批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。 您可单击图标选择开启，批量开启质量规则的对象的生效状态。 您可单击图标选择关闭，批量关闭质量规则的对象的生效状态。 批量管理质量负责人：选择需要转交的质量负责人，单击确定。 您可单击图标选择删除，批量删除质量规则的对象。

后续步骤

完成质量规则上传后，您可在质量规则页面执行查看及管理规则，详情请参见查看监控对象列表。