SchedulerX可支持定时调度DataWorks任务,并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排,完成相应的定期任务数据处理。
前提条件
登录DataWorks管理控制台,开通DataWorks(需开通企业版)。
客户端接入步骤
采用SchedulerX SDK客户端依赖。
SchedulerX客户端需升级至1.3.4及以上版本。
在接入客户端时,请将具备DataWorks(需开通企业版)操作权限的AccessKey ID和AccessKey Secret配置信息写入启动配置中。
# dataworks访问的账户信息配置 spring.schedulerx2.aliyunAccessKey=阿里云账号AK spring.schedulerx2.aliyunSecretKey=阿里云账号SK
采用Agent模式接入,Agent部署及接入步骤,请参见Agent接入。需采用如下版本:
下载安装包
agent.properties启动参数配置需要具备DataWorks操作权限的AK/SK信息。
# dataworks访问的账户信息配置 aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}
Docker镜像
根据您的网络环境和CPU架构选择镜像。
网络
x86_64
arm64
公网
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
华东1(杭州)VPC
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
通过Docker镜像启动,则需配置启动环境变量
ALIYUN_ACCESS_KEY
和ALIYUN_SECRET_KEY
。
任务创建
在DataWorks控制台上执行如下操作:
创建手动业务流程,请参见新建手动业务流程。
创建节点(不需配置依赖关系),请参见创建节点并配置依赖关系。
提交业务流程,请参见提交业务流程。
在SchedulerX控制台上执行如下操作:
执行结果
创建的定时任务触发后,可在流程实例列表中查看流程执行状态以及各个节点状态,鼠标右键单击节点可查询对应节点的执行结果的详细信息。
后续步骤
在SchedulerX任务实例列表,您可查看对应任务节点的执行详情,进行任务停止、重跑等操作。
在DataWorks的运维中心,您可查询本次调度的执行实例信息。
- 本页导读 (1)
- 前提条件
- 客户端接入步骤
- 任务创建
- 执行结果
- 后续步骤