DataWorks的Lindorm Flink Batch节点支持以JAR包形式向Lindorm流引擎提交Flink批处理作业,实现存量数据的批量加工。本文为您介绍使用Lindorm Flink Batch节点进行任务开发的主要流程。
节点介绍
Lindorm流引擎兼容Flink接口,支持以JAR包形式提交Flink作业。作业形态不同,适用的节点类型不同:流式作业长驻运行、持续消费数据,请使用Lindorm Flink JAR Streaming节点;批处理作业在执行完成后即结束,适用于批量数据加工场景,请使用Lindorm Flink Batch节点。通过Lindorm Flink Batch节点,您可以在DataStudio中开发、调试与发布批处理作业,并将作业纳入DataWorks统一调度与运维体系。
使用限制
资源组限制:Lindorm Flink Batch节点仅支持通过Serverless资源组运行,该资源组需与Lindorm实例保持网络连通。
作业类型限制:Lindorm Flink Batch节点仅支持以已编译的Flink JAR包形式提交作业,不支持SQL或Python类型的作业。
准备工作
已创建Lindorm实例,并在DataWorks工作空间中绑定Lindorm计算资源。绑定时需填写实例、数据库、访问账号与密码,并通过网络连通性测试,具体操作请参见绑定 Lindorm 计算资源。
已在Lindorm控制台为该实例开通流引擎,并创建用于运行Flink作业的Lindorm资源组。
(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员。
说明如果您使用的是阿里云账号(主账号),则忽略该添加操作。
新建Lindorm Flink Batch节点
新建入口参考:数据开发(Data Studio)(新版)。在节点类型中选择Lindorm分组下的Lindorm Flink Batch。
开发Lindorm Flink Batch节点
Lindorm Flink Batch节点的开发主要包含以下部分:将Flink作业JAR包上传为DataWorks资源文件,并在节点中配置流引擎作业的提交命令与运行资源。
步骤一:上传Flink作业JAR包资源
在DataWorks资源管理中创建JAR包类型的资源文件,并上传已编译的Flink作业JAR包(例如short-lindorm-flink-batch.jar),以供后续在节点中引用。资源文件需提交并发布后,才能被生产环境任务使用。
示例Flink批处理作业代码如下。该作业以批模式运行,每秒处理一条数据,共处理20条:
package com.alibaba.lindorm.stream.demo;
import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
/**
* 有界批任务:每秒处理一条,共处理 20 条。
*/
public class ShortBatchJob {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
// 以批模式运行
env.setRuntimeMode(RuntimeExecutionMode.BATCH);
env.setParallelism(1);
env.fromSequence(1, 20)
.map(new MapFunction<Long, Long>() {
@Override
public Long map(Long value) throws Exception {
Thread.sleep(1000L);
return value;
}
})
.name("sleep-one-second-per-record")
.print();
env.execute("short-lindorm-flink-batch");
}
}步骤二:配置批处理作业内容
在节点的代码编辑区中,通过##@resource_reference语法引用已上传的JAR包资源,并使用lstream-cli run命令配置流引擎作业的提交命令。
示例如下:
##@resource_reference{"short-lindorm-flink-batch.jar"}
lstream-cli run \
-D execution.runtime-mode=BATCH \
--class com.alibaba.lindorm.stream.demo.ShortBatchJob \
--parallelism 1 \
short-lindorm-flink-batch.jar您可参照以下参数配置信息,配置节点内容。
参数名称 | 参数描述 |
| 必填。设置Flink执行模式为批处理模式。 |
| 必填。Flink作业的主类(Main Class)全限定名,即包含 |
| 选填。作业的并行度。未指定时,使用Lindorm流引擎的默认值。 |
JAR包文件名 | 提交命令末尾指定待运行的JAR包文件名,需与通过 |
调试Lindorm Flink Batch节点
在节点编辑页面右侧的配置面板中,配置作业的运行资源。当前Lindorm Flink Batch节点支持的配置项如下:
配置项 | 是否必填 | 说明 |
计算资源 | 是 | 选择工作空间中已绑定的 Lindorm 计算资源,仅支持 Lindorm 类型。 |
Lindorm资源组 | 是 | 选择在 Lindorm 控制台创建的资源组。可选项随所选计算资源加载,需先选定计算资源。 |
资源组 | 是 | 选择运行该任务的调度资源组,需与 Lindorm 实例网络连通。 |
脚本参数 | 否 | 根据作业运行需要添加参数,供作业在运行时取值。 |
完成运行资源配置后,单击工具栏中的保存,再单击运行执行调试。调试运行结束后,您可在运行日志中查看作业的提交与执行信息。
发布Lindorm Flink Batch节点
调试通过后,您需要在节点右侧的调度配置面板中配置任务的运行资源与调度属性,再将节点发布至生产环境。发布成功后,任务将按所选调度配置在生产环境运行,您可在运维中心统一管理。
配置调度配置。
在节点右侧的调度配置面板中配置以下信息。
配置项
说明
计算资源
在调度策略页签中,选择您所绑定的Lindorm计算资源。
Lindorm资源组
在调度策略页签中,选择对应的Lindorm流引擎资源组。
资源组
在调度策略页签中,选择已通过网络连通性测试的Serverless资源组。
实例生成方式
在调度策略页签中,选择T+1次日生成或发布后即时生成。
调度类型
在调度策略页签中,选择正常调度、暂停调度或空跑调度。
最大并行实例数
在调度策略页签中,选择不限制或限制,设置任务可同时运行的最大实例数。
失败自动重跑
在调度策略页签中,开启后任务运行失败时将自动重跑。您可进一步设置重跑次数(自动重跑的最大次数)和重跑间隔(两次重跑之间的间隔时长,单位为分钟)。
发布节点。
完成调度配置后,单击工具栏中的发布,依次完成发布包构建、生产检查器、发布到生产环境。发布流程的详细说明请参见节点发布。发布成功后,任务即按所选调度配置在生产环境运行。
运维中心管理批处理任务
将Lindorm Flink Batch节点发布至生产环境后,您可以在运维中心统一管理批作业:
在运维中心查看批作业的运行状态,对任务执行停止、启动等运维操作,并可通过日志链接跳转至Lindorm控制台的作业管理页面。
DataWorks运维中心与Lindorm控制台的作业状态保持双向同步。当您在Lindorm控制台取消或启动作业时,DataWorks运维中心会同步展示作业的最新状态(如已停止、运行中);反之亦然。