阿里云首页 数据资源平台

数据检测就绪节点

在场景运行开始时,数据检测就绪节点可检测算法的数据源是否符合设定的条件,如果不符合,则无法继续运行场景。本文介绍数据检测就绪节点的配置参数说明。

节点属性

节点属性界面关键参数说明如下:

参数

说明

Node Code

节点的唯一标识,同一个场景中不可重复。

Node Name

节点的名称。

简介

节点描述信息。

运行属性

运行属性用于设置数据检测节点的云计算资源和所要检测的数据表,关键参数说明如下:

参数

说明

云计算资源类型

节点的云计算资源类型。必须与下游节点的云计算资源类型相同。

数据模型

数据模型指代您已经在云资源中创建的物理表。保证与下游节点的输入数据模型相同。

测试配置

测试计算资源

测试场景中需要检测的数据源所在的计算资源。

表名

测试场景中需要检测的数据表。

输入说明

测试场景中需要进行检测的数据表或整个测试场景的描述信息。

线上配置

线上计算资源

线上场景中需要检测的数据源所在的计算资源。

说明

线上计算资源不可与测试计算资源相同。

表名

线上场景中需要检测的数据表。

输入说明

线上场景中需要进行检测的数据表或整个线上场景的描述信息。

检测规则

检测规则首先通过SQL 语句来计算源数据表中数据的数量,再验证这个数量是否符合条件。检测规则支持添加多条,界面示例和关键参数说明如下:

配置项

说明

SQL代码

填写对应的质量检测代码。

解析

当有参数时,单击解析,支持解析参数。

运行参数

  • 参数变量:和代码中输入的参数保持一致。

  • 参数值:节点的输出。

  • 值类型:参数值的类型。

  • 操作:可删除该参数。

检测参数

  • 比较方式:支持>、<、>=、<=、==、!=、between等运算符。

  • 阈值:设置规则阈值。

  • 检测总时长(秒):为避免任务长时间占用运行资源。

  • 检测总时长(秒)最大限定为28800秒,即8小时。

调度配置

调度配置属性用于设置数据检测就绪节点线上场景的调度周期等参数,关键参数说明如下:

参数

说明

定时调度

定时调度只在线上场景生效。包含以下配置:

  • 依赖本节点上一周期调度:可勾选。

  • 生成实例方式:T+1次日生成和发布后即时生成。

  • 生效日期:自定义。

  • 调度周期:支持月、周、天、小时和分钟。

  • 具体时间:客户自定义。

Reader插件参数

仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,会显示当前参数。

  • 是否为增量同步:当选择,表示全量覆盖同步,选择,则增量同步。

  • where查询条件:过滤条件,例如输入ID>12,表示将ID的值大于12的数据传输至目标路径。

Writer插件参数

仅当传输链路为ApsaraDB for RDS传输到MaxCompute时,会显示当前参数。

清空写入表/分区:当开关按钮显示否时,表示不清空。