DataWorks任务

更新时间:2025-03-10 06:14:00

SchedulerX可支持定时调度DataWorks任务,并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排,完成相应的定期任务数据处理。

前提条件

客户端接入步骤

SDK依赖接入
Agent模式接入

采用SchedulerX SDK客户端依赖。

  1. SchedulerX客户端需升级至1.3.4及以上版本。

  2. 在接入客户端时,请将具备DataWorks(需开通企业版)操作权限的AccessKey IDAccessKey Secret配置信息写入启动配置中。

    # dataworks访问的账户信息配置
    spring.schedulerx2.aliyunAccessKey=阿里云账号AK
    spring.schedulerx2.aliyunSecretKey=阿里云账号SK

采用Agent模式接入,Agent部署及接入步骤,请参见Agent接入。需采用如下版本:

  • 下载安装包

    agent.properties启动参数配置需要具备DataWorks操作权限的AK/SK信息。

    # dataworks访问的账户信息配置
    aliyunAccessKey={ALIYUN_ACCESS_KEY}
    aliyunSecretKey={ALIYUN_SECRET_KEY}
  • Docker镜像

    1. 根据您的网络环境和CPU架构选择镜像。

    网络

    x86_64

    arm64

    公网

    registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64

    registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

    华东1(杭州)VPC

    registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64

    registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

    1. 通过Docker镜像启动,则需配置启动环境变量 ALIYUN_ACCESS_KEYALIYUN_SECRET_KEY

任务创建

  1. DataWorks控制台上执行如下操作:

    1. 创建手动业务流程,请参见新建手动业务流程

    2. 创建节点(不需配置依赖关系),请参见创建节点并配置依赖关系

    3. 提交业务流程,请参见提交业务流程

  2. SchedulerX控制台上执行如下操作:

    1. 创建相应工作流并绑定DataWorks任务节点,请参见创建工作流

      data

    2. 任务添加完毕后,按住并拖动任务两侧的端点到其他任务的端点连接调度任务,形成依赖关系,组成完整的工作流。

    3. 对创建的业务流程设置定时触发,具体操作,请参见Cron

执行结果

创建的定时任务触发后,可在流程实例列表中查看流程执行状态以及各个节点状态,鼠标右键单击节点可查询对应节点的执行结果的详细信息。

后续步骤

  • SchedulerX任务实例列表,您可查看对应任务节点的执行详情,进行任务停止、重跑等操作。

  • DataWorks的运维中心,您可查询本次调度的执行实例信息。

  • 本页导读 (1)
  • 前提条件
  • 客户端接入步骤
  • 任务创建
  • 执行结果
  • 后续步骤
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等