提交离线计算任务SKILL

更新时间:
复制 MD 格式

您可以通过自然语言指令驱动Qoder、CodeX等代码Agent,将开发环境中已开发好的离线计算任务提交到运维区,并配置调度周期、定时表达式与上游依赖。本文为您介绍该能力的功能、使用前提与使用示例,并在附录中提供输入信息清单供参考。

功能介绍

提交离线计算任务能力支持您通过自然语言指令,将开发环境中已创建并配置好的离线任务提交到运维区。任务类型涵盖Shell、Python、Hive SQL、MaxCompute SQL等常见离线作业。提交时您可以配置任务的调度周期(如每天、每小时、每分钟)、定时表达式、上游依赖、运行参数、优先级等信息。对于分钟级调度,能力支持「全天连续」与「每小时重置」两种语义,Agent会根据您的需求选择正确的配置方式。

适用场景:

  • 将在开发环境调试通过的离线任务提交到运维区,准备上线调度。

  • 为任务配置调度周期、定时表达式与上游依赖后提交。

  • 需要以分钟级间隔调度任务时,按目标语义提交配置。

说明

能力限制:提交成功后任务会生成一条待发布记录,此时节点尚未进入生产调度;通常还需要执行发布操作,任务才会真正上线运行。基础模式(BASIC)项目提交时需指定节点输出名,否则会因缺少下游依赖而无法提交。

使用前提

  • 目标Dataphin项目已存在,且当前用户为该项目成员。

  • 要提交的离线任务文件已在开发环境创建完成,任务所在目录已存在。

  • 已准备好任务代码,以及所需的调度周期、定时表达式、上游依赖等配置信息。

  • 基础模式(BASIC)项目还需准备好任务的节点输出名。

使用示例

您可以直接用自然语言向Agent描述需求,以下为可直接复制的指令示例:

  • 「把这个Shell任务提交到运维区,每天早上8点和晚上8点各跑一次。」

  • 「提交这个MaxCompute SQL任务,每天调度一次,上游挂项目根节点。」

  • 「帮我把这个任务配置成全天每5分钟调度一次并提交。」

  • 「提交这个Python任务,用Python 3.11引擎,依赖pandas库。」

交互步骤:

  1. Agent通常会先与您确认目标任务、任务类型、代码与调度配置,缺失时会向您询问。

  2. 提交前,Agent一般会确认任务文件已创建、目录已存在;如为分钟级调度,会与您确认是「全天连续」还是「每小时重置」。

  3. Agent会带上完整的调度与上游依赖配置执行提交,这些配置通常为全量提交而非增量修改。

  4. 提交成功后,Agent会说明任务已生成待发布记录,并提示您如需上线还需执行发布操作。

附录:输入信息

以下为提交离线计算任务时可能涉及的信息项,仅供参考。实际使用时,Agent会根据您的指令自动识别所需信息,缺失时再向您询问;标注为无需提供的信息项由系统自动生成,您无需准备。

信息项

是否必填

说明

示例

租户ID

是

操作所属的Dataphin租户标识。

1234567890123456789

项目ID

是

任务所属的Dataphin项目。

——

任务名称

是

要提交的离线任务名称。

shell_echo

任务类型

是

任务的作业类型,如Shell、Python、Hive SQL、MaxCompute SQL等。

Shell

任务代码

是

任务要执行的代码内容。

echo 1

调度周期

否

任务的调度周期,如每天、每小时、每分钟等。

每天

定时表达式

否

任务的具体触发时间,多个时间点可组合表达。

每天0点

上游依赖

否

任务的上游依赖节点,无明确上游时可挂项目根节点。

——

节点输出名

条件必填

基础模式(BASIC)项目提交时必填,供下游任务依赖。

shell_echo

提交备注

否

本次提交的说明信息。

创建Shell任务