您可以通过自然语言指令驱动Qoder、CodeX等代码Agent,将开发环境中已开发好的离线计算任务提交到运维区,并配置调度周期、定时表达式与上游依赖。本文为您介绍该能力的功能、使用前提与使用示例,并在附录中提供输入信息清单供参考。
功能介绍
提交离线计算任务能力支持您通过自然语言指令,将开发环境中已创建并配置好的离线任务提交到运维区。任务类型涵盖Shell、Python、Hive SQL、MaxCompute SQL等常见离线作业。提交时您可以配置任务的调度周期(如每天、每小时、每分钟)、定时表达式、上游依赖、运行参数、优先级等信息。对于分钟级调度,能力支持「全天连续」与「每小时重置」两种语义,Agent会根据您的需求选择正确的配置方式。
适用场景:
-
将在开发环境调试通过的离线任务提交到运维区,准备上线调度。
-
为任务配置调度周期、定时表达式与上游依赖后提交。
-
需要以分钟级间隔调度任务时,按目标语义提交配置。
能力限制:提交成功后任务会生成一条待发布记录,此时节点尚未进入生产调度;通常还需要执行发布操作,任务才会真正上线运行。基础模式(BASIC)项目提交时需指定节点输出名,否则会因缺少下游依赖而无法提交。
使用前提
-
目标Dataphin项目已存在,且当前用户为该项目成员。
-
要提交的离线任务文件已在开发环境创建完成,任务所在目录已存在。
-
已准备好任务代码,以及所需的调度周期、定时表达式、上游依赖等配置信息。
-
基础模式(BASIC)项目还需准备好任务的节点输出名。
使用示例
您可以直接用自然语言向Agent描述需求,以下为可直接复制的指令示例:
-
「把这个Shell任务提交到运维区,每天早上8点和晚上8点各跑一次。」
-
「提交这个MaxCompute SQL任务,每天调度一次,上游挂项目根节点。」
-
「帮我把这个任务配置成全天每5分钟调度一次并提交。」
-
「提交这个Python任务,用Python 3.11引擎,依赖pandas库。」
交互步骤:
-
Agent通常会先与您确认目标任务、任务类型、代码与调度配置,缺失时会向您询问。
-
提交前,Agent一般会确认任务文件已创建、目录已存在;如为分钟级调度,会与您确认是「全天连续」还是「每小时重置」。
-
Agent会带上完整的调度与上游依赖配置执行提交,这些配置通常为全量提交而非增量修改。
-
提交成功后,Agent会说明任务已生成待发布记录,并提示您如需上线还需执行发布操作。
附录:输入信息
以下为提交离线计算任务时可能涉及的信息项,仅供参考。实际使用时,Agent会根据您的指令自动识别所需信息,缺失时再向您询问;标注为无需提供的信息项由系统自动生成,您无需准备。
|
信息项 |
是否必填 |
说明 |
示例 |
|
租户ID |
是 |
操作所属的Dataphin租户标识。 |
1234567890123456789 |
|
项目ID |
是 |
任务所属的Dataphin项目。 |
—— |
|
任务名称 |
是 |
要提交的离线任务名称。 |
shell_echo |
|
任务类型 |
是 |
任务的作业类型,如Shell、Python、Hive SQL、MaxCompute SQL等。 |
Shell |
|
任务代码 |
是 |
任务要执行的代码内容。 |
echo 1 |
|
调度周期 |
否 |
任务的调度周期,如每天、每小时、每分钟等。 |
每天 |
|
定时表达式 |
否 |
任务的具体触发时间,多个时间点可组合表达。 |
每天0点 |
|
上游依赖 |
否 |
任务的上游依赖节点,无明确上游时可挂项目根节点。 |
—— |
|
节点输出名 |
条件必填 |
基础模式(BASIC)项目提交时必填,供下游任务依赖。 |
shell_echo |
|
提交备注 |
否 |
本次提交的说明信息。 |
创建Shell任务 |