数据对比节点_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

DataWorks的数据对比节点可实现对不同表之间的数据进行多种方式的对比，并可在工作流中使用。本文为您介绍使用数据对比节点进行任务开发的主要流程。

节点介绍

数据对比节点不仅仅用于数据集成，还支持表与表之间的对比。同时，它还支持自定义对比范围以及自定义对比的指标，从而实现更多方面的数据对比。

使用限制

仅支持Serverless资源组，使用Serverless资源组可参见：新增和使用Serverless资源组。

一、新建数据对比节点

1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。
在左侧导航栏单击，进入数据开发，在项目目录右侧单击，选择新建节点 > 数据质量 > 数据对比，根据界面指引，输入节点的路径、名称信息，完成节点创建。

二、配置数据对比节点

1. 配置对比表信息

数据对比节点只需通过简单配置对比表信息，即可对不同数据源的表数据进行对比，配置详情如下：

参数	说明
资源组	下拉选择已有资源组。
任务资源占用	调整数据对比节点运行的资源占用量。
数据源类型	选择需要进行对比的来源表和目标表的数据源类型。
数据源名称	选择需要进行对比的来源表和目标表的数据源。
连通性	配置完成后，单击测试查看数据源是否与资源组连通。
表名	下拉选择需要对比的来源表和目标表。
Where筛选	对需要进行对比的来源表和目标表进行过滤。说明配置时无需填写`WHERE`关键字。当对比分区表时，建议指定分区后再执行，否则将会报错`Semantic analysis exception - physical plan generation failed: Table(<MaxCompute项目名>,<表名>) is full scan with all partitions, please specify partition predicates`。
切分键	为来源表配置切分键，以将数据表中某一列作为切分键，建议使用主键或有索引的列作为切分键。

2. 配置对比规则

对比规则可以进行指标对比或全文对比，从而实现对数据的来源与目标按照不同的对比规则进行对比。

指标对比

表级别对比：
表行数对比：指标对比支持表级别的对比，可以对表行数进行对比。当对比结果差异率小于差异阈值时，视为成功。
说明
误差阈值支持百分比、绝对值以及是否一致的判断方式。
字段级别对比：
字段级别对比，默认选择同名字段对比，若来源表与目标表的字段名不同时，可通过单击添加对比字段按钮，手动选择来源字段和目标字段形成字段间的对比。
- 来源字段：选择需要对比的来源表字段。
- 目标字段：选择需要对比的目标表字段。
- 对比指标：对比指标包括MAX、AVG、MIN以及SUM四种常见指标的对比。
  - 一对来源表字段和目标表字段可配置多个对比指标。
  - 多个对比指标可配置的误差阈值与忽略情况均可不同。
- 误差阈值：来源表与目标表对比时产生的差异率将与配置的差异率进行比较，若对比结果差异率小于差异阈值时，视为成功，可以按照百分比、绝对值以及是否一致三种阈值进行比较。
  说明
  - 误差阈值绝对值 = |来源表指标值-目标表指标值|
  - 误差阈值百分比= （|来源表指标值-目标表指标值|）/ 来源表指标值 x 100%
- 忽略：
  - 当字段类型为INT时，可以忽略空值与0值之间的差异。
  - 当字段类型为VARCHAR或STRING时，可以忽略空值与空串的差异。
  - 当字段类型为DECIMAL或DECIMAL时，可对浮点精度以及空值与0值差异进行处理。
- 操作：可对多余的对比字段或无需对比的字段从字段对比中删除。
自定义对比：
可通过添加自定义SQL对比指标，对来源表和目标表进行对比。具体操作如下：
1. 单击添加自定义SQL对比指标按钮，添加需要的对比的指标，指标名称可手动修改进行重命名。
2. 按需求对误差阈值进行调整，支持配置百分比、绝对值以及是否一致。
3. 配置完成误差阈值后，可单击自定义SQL列的配置，对来源端和目标端的表进行SQL配置，以自定义计算指标。
4. 配置完成后，单击确定，即可完成自定义对比的配置。

全文对比

在将对比方式配置成全文对比时，可通过调整全文对比方式，来实现不同效果的对比。
- 目标数据包含来源数据：只要来源的每行数据都在目标内即认为对比成功，此时目标内数据可能多于来源。
- 逐行对比：逐行比较来源和去向行数以及内容的差异。
  配置逐行对比时，需配置相应的误差阈值，支持配置百分比、绝对值以及是否一致。
  说明
  - 误差阈值绝对值 = |来源表指标值-目标表指标值|
  - 误差阈值百分比= （|来源表指标值-目标表指标值|）/ 来源表指标值 x 100%
完成全文对比方式配置后，即可对需要对比的字段进行选择配置，此处会默认将同名字段进行对比，若需对不同名字段进行比较，则需手动单击添加对比字段，并选择来源字段与目标字段，可参考以下内容
- 来源字段：选择需要对比的来源表字段。
- 目标字段：选择需要对比的目标表字段。
- 对比主键：全文对比时需要基于主键来对比其余内容是否相同。
- 忽略：
  - 当字段类型为INT时，可对空值与0值之间的差异进行忽略。
  - 当字段类型为VARCHAR或STRING时，可对空值与0值之间的差异进行忽略。
  - 当字段类型为DECIMAL时，可对浮点精度以及空值与0值差异进行处理。
- 操作：可对多余的对比字段或无需对比的字段从字段对比中删除。
全文对比的结果需进行存储，以便在对比结束后查看具体数据比对详情，可通过配置相应数据源来存储全文对比的结果。
- 数据源类型：仅支持MaxCompute数据源。
- 数据源名称：下拉选择该工作空间内绑定的MaxCompute数据源。
- 连通性：需保证选中的MaxCompute数据源与配置对比表信息时的资源组连通性正常。
- 存储表：单击生成存储表，生成一张data_comparison_xxxxxx样式的存储表。
- Tunnel Quota：下拉选择MaxCompute的数据传输资源，具体请购买与使用独享数据传输服务资源组。

3. 调度配置

完成规则配置后，即可在页面右侧，单击调度配置，对数据对比节点进行调度配置，配置详情可参见：节点调度配置。

三、发布与运维

1. 发布数据对比节点

节点任务配置完成后，需执行提交发布操作，提交发布后节点将根据调度配置内容进行周期性运行。

单击顶部工具栏中的图标，保存节点。
单击顶部工具栏中的图标，发布节点。

发布节点的详细操作，请参见节点/工作流发布。

2. 运维数据对比节点

数据对比节点发布成功后，可在运维中心内对该节点进行运维操作，详情可参见：运维中心。

3. 查看数据校验报告

数据校验报告可在任务运行日志中查看，可通过以下方式进行查看：

运维中心查看：
1. 单击页面左上角按钮，选择全部产品 > 数据开发与运维 > 运维中心（工作流）进入运维中心。
2. 在运维中心左侧导航栏单击进入周期任务运维 > 周期实例查看数据对比节点生成实例，单击操作列的更多，选择查看运行日志。
3. 在日志页面单击数据对比页签即可查看。
运行日志查看：
若仅在数据开发页面对数据对比节点运行，可在数据开发页面单击下图链接，将跳转至数据校验报告页面。