您可以通过自然语言指令驱动Qoder、CodeX等代码Agent,对Dataphin调度节点按业务日期发起补数据,回填历史数据或修正某段时间的产出,并跟踪补数据工作流与实例的运行状态。本文为您介绍该能力的功能、使用前提、使用示例与执行结果,并在附录中提供输入信息清单供参考。
功能介绍
节点补数据能力支持您通过自然语言指令,对Dataphin调度节点及其下游按业务日期回填历史数据,常见包括对指定节点发起补数据、联动节点及其所有下游一起补数据(海量模式)、限定小时任务的补数据时点,以及跟踪各业务日期补数据工作流与节点实例的运行状态。
适用场景:
-
按业务日期对某个节点回填历史数据,或修正某段时间内的产出数据。
-
联动某个节点及其所有下游一起补数据,修复整条链路的历史产出。
-
小时调度任务只补某几个运行时点的数据。
-
跟踪某次补数据各业务日期的工作流与节点实例执行状态。
能力限制:补数据范围按业务日期计算,业务日期默认为T-1(即昨天),不是调度日;节点ID仅对应一个环境,未发布到生产的项目须使用开发环境补数据,否则会因环境不匹配找不到节点;一次补数据仅支持当前项目,不支持跨项目;联动所有下游的海量模式提交后,需先查询提交状态取得真正的补数据ID,才能跟踪工作流与实例。
使用前提
-
已知目标租户ID与项目ID。
-
目标节点已存在,且明确其发布环境(开发或生产)。
-
已知要补的业务日期区间。
使用示例
您可以直接用自然语言向Agent描述需求,以下为可直接复制的指令示例:
-
对某个Shell任务按业务日期补昨天的数据。
-
对某个节点及其所有下游联动补数据。
-
补某个节点本月1号到7号这段区间的历史数据。
-
小时任务只补08:45与20:45这两个时点的数据。
-
查询某次补数据各业务日期的运行状态。
-
查看某个补数据工作流下各节点实例的执行情况。
交互步骤:
-
Agent通常会先与您确认目标节点、发布环境(开发或生产)与要补的业务日期区间(默认T-1,即昨天)。
-
Agent通常会先按任务类型与名称定位节点,确认其发布环境,避免环境不匹配导致找不到节点。
-
提交补数据前,Agent通常会与您确认节点、环境、业务日期区间、是否联动所有下游与并发上限。
-
联动所有下游的海量模式提交后,Agent通常会先查询提交状态取得真正的补数据ID,再据此跟踪各业务日期的工作流与实例状态。
执行结果
操作完成后,您可以获得以下结果:
-
返回内容:提交补数据返回提交标识,跟踪查询返回各业务日期工作流的状态(如初始化、等待、运行中、成功、失败)与耗时,实例查询返回各节点实例的状态、运行时点与耗时。
-
完成状态:以工作流与实例的状态为准,成功表示对应业务日期的数据已回填。
-
查看与验证:可通过补数据工作流总览与实例明细核对各业务日期、各节点的执行状态;若长时间处于等待,可查看实例状态排查调度依赖或资源排队。
命令行返回成功仅表示请求已受理,最终请以Dataphin界面显示的实际结果为准。
附录:输入信息
以下为发起节点补数据时可能涉及的信息项,仅供参考。实际使用时,Agent会根据您的指令自动识别所需信息,缺失时再向您询问;标注为无需提供的信息项由系统自动生成,您无需准备。
|
信息项 |
是否必填 |
说明 |
示例 |
|
租户ID |
条件必填 |
已在凭证配置中指定时可省略。 |
1234567890123456789 |
|
项目ID |
是 |
目标节点所属项目。 |
—— |
|
环境 |
否 |
开发或生产,默认生产,须与节点实际发布环境一致。 |
生产 |
|
节点 |
是 |
要补数据的根节点,可一次指定多个。 |
—— |
|
业务日期区间 |
是 |
起止业务日期(闭区间),默认T-1即昨天。 |
20260901至20260907 |
|
是否联动所有下游 |
否 |
海量模式,自动包含根节点的所有下游节点。 |
否 |
|
并发上限 |
否 |
同一业务日期内实例的并发数,默认1。 |
1 |
|
运行时点范围 |
否 |
小时任务专用,限定补哪几个时点。 |
08:45至20:45 |