节点补数据SKILL

更新时间:
复制 MD 格式

您可以通过自然语言指令驱动Qoder、CodeX等代码Agent,对Dataphin调度节点按业务日期发起补数据,回填历史数据或修正某段时间的产出,并跟踪补数据工作流与实例的运行状态。本文为您介绍该能力的功能、使用前提、使用示例与执行结果,并在附录中提供输入信息清单供参考。

功能介绍

节点补数据能力支持您通过自然语言指令,对Dataphin调度节点及其下游按业务日期回填历史数据,常见包括对指定节点发起补数据、联动节点及其所有下游一起补数据(海量模式)、限定小时任务的补数据时点,以及跟踪各业务日期补数据工作流与节点实例的运行状态。

适用场景:

  • 按业务日期对某个节点回填历史数据,或修正某段时间内的产出数据。

  • 联动某个节点及其所有下游一起补数据,修复整条链路的历史产出。

  • 小时调度任务只补某几个运行时点的数据。

  • 跟踪某次补数据各业务日期的工作流与节点实例执行状态。

说明

能力限制:补数据范围按业务日期计算,业务日期默认为T-1(即昨天),不是调度日;节点ID仅对应一个环境,未发布到生产的项目须使用开发环境补数据,否则会因环境不匹配找不到节点;一次补数据仅支持当前项目,不支持跨项目;联动所有下游的海量模式提交后,需先查询提交状态取得真正的补数据ID,才能跟踪工作流与实例。

使用前提

  • 已知目标租户ID与项目ID。

  • 目标节点已存在,且明确其发布环境(开发或生产)。

  • 已知要补的业务日期区间。

使用示例

您可以直接用自然语言向Agent描述需求,以下为可直接复制的指令示例:

  • 对某个Shell任务按业务日期补昨天的数据。

  • 对某个节点及其所有下游联动补数据。

  • 补某个节点本月1号到7号这段区间的历史数据。

  • 小时任务只补08:45与20:45这两个时点的数据。

  • 查询某次补数据各业务日期的运行状态。

  • 查看某个补数据工作流下各节点实例的执行情况。

交互步骤:

  1. Agent通常会先与您确认目标节点、发布环境(开发或生产)与要补的业务日期区间(默认T-1,即昨天)。

  2. Agent通常会先按任务类型与名称定位节点,确认其发布环境,避免环境不匹配导致找不到节点。

  3. 提交补数据前,Agent通常会与您确认节点、环境、业务日期区间、是否联动所有下游与并发上限。

  4. 联动所有下游的海量模式提交后,Agent通常会先查询提交状态取得真正的补数据ID,再据此跟踪各业务日期的工作流与实例状态。

执行结果

操作完成后,您可以获得以下结果:

  • 返回内容:提交补数据返回提交标识,跟踪查询返回各业务日期工作流的状态(如初始化、等待、运行中、成功、失败)与耗时,实例查询返回各节点实例的状态、运行时点与耗时。

  • 完成状态:以工作流与实例的状态为准,成功表示对应业务日期的数据已回填。

  • 查看与验证:可通过补数据工作流总览与实例明细核对各业务日期、各节点的执行状态;若长时间处于等待,可查看实例状态排查调度依赖或资源排队。

说明

命令行返回成功仅表示请求已受理,最终请以Dataphin界面显示的实际结果为准。

附录:输入信息

以下为发起节点补数据时可能涉及的信息项,仅供参考。实际使用时,Agent会根据您的指令自动识别所需信息,缺失时再向您询问;标注为无需提供的信息项由系统自动生成,您无需准备。

信息项

是否必填

说明

示例

租户ID

条件必填

已在凭证配置中指定时可省略。

1234567890123456789

项目ID

是

目标节点所属项目。

——

环境

否

开发或生产,默认生产,须与节点实际发布环境一致。

生产

节点

是

要补数据的根节点,可一次指定多个。

——

业务日期区间

是

起止业务日期(闭区间),默认T-1即昨天。

20260901至20260907

是否联动所有下游

否

海量模式,自动包含根节点的所有下游节点。

否

并发上限

否

同一业务日期内实例的并发数,默认1。

1

运行时点范围

否

小时任务专用,限定补哪几个时点。

08:45至20:45