Lindorm Spark Streaming 节点

更新时间:
复制 MD 格式

Lindorm Spark Streaming 节点用于通过 DataWorks 开发和调度流式数据处理任务,适用于实时数据入库、流式 ETL 等场景。本文介绍该节点的创建、开发和调试流程。

背景信息

Lindorm Spark Streaming 是 Lindorm 计算引擎提供的流式数据处理能力,基于 Apache Spark Structured Streaming 框架,支持从 Kafka 等数据源持续消费实时数据,并写入 Lindorm 宽表、时序引擎等存储中。与Lindorm Spark 节点的定时批处理模式不同,Lindorm Spark Streaming 节点以常驻方式持续运行,适用于实时数据入库、流式 ETL 等场景。

环境准备

  • 进行任务开发的 RAM 用户已被添加到 DataWorks 对应工作空间,并被赋予开发或项目管理员角色,且需具备Lindorm控制台查询作业详情的权限。

  • 已创建 Lindorm 实例并绑定 Lindorm 计算资源到 DataWorks 工作空间。

  • 如需从外部数据源(如 Kafka)消费数据,已配置对应的 Lindorm 数据源。

创建 Lindorm Spark Streaming 节点

  1. 登录 DataWorks 控制台。

  2. 在左侧导航栏,单击数据开发。

  3. 在数据开发页面,右键单击目标业务流程,选择新建节点 > Lindorm > Lindorm Spark Streaming。

  4. 新建节点对话框中,输入节点名称,选择存放路径,然后单击确认。

开发 Lindorm Spark Streaming 节点

根据语言类型(Java/Scala 或 Python),配置节点引用对应的 JAR 包或 .py 文件。

Java/Scala

准备 JAR 资源

您需要准备 Spark Streaming 任务所需的 JAR 包,并通过以下任一方式使其可被节点引用:

  • 方式一:通过 DataWorks 上传 Lindorm File

    在节点编辑面板的主 Jar 资源下拉框中,选择已通过 DataWorks 上传至 Lindorm File 的 JAR 包资源。

  • 方式二:在 Lindorm DFS 中上传并输入绝对路径

    将 JAR 包上传至 LindormDFS 后,在节点编辑面板中单击主 Jar 资源右侧的输入绝对路径,手动输入 JAR 包在 DFS 中的绝对路径。

    上传步骤如下:

    1. 登录 Lindorm 控制台。从对应地域的实例列表找到已创建的 Lindorm 实例。

    2. 单击实例名称,进入实例详情页面。

    3. 在左侧导航栏,单击计算引擎进入计算引擎页面。

    4. 在作业管理页签,单击上传资源,打开上传资源页面。

    5. 单击虚线框区域,选择已下载的 JAR 包文件,然后单击打开。

    6. 单击上传完成 JAR 包上传。

    7. 在作业管理页签,找到已上传的 JAR 包,单击文件名左侧的复制图标,复制该 JAR 包的 DFS 绝对路径。

配置节点内容

Lindorm Spark Streaming 节点编辑面板中,配置以下参数:

参数

说明

主 Jar 资源

选择或输入 JAR 包资源路径。您可以从下拉框中选择已通过 DataWorks 上传的 Lindorm File,也可以单击输入绝对路径手动填写 JAR 包在 Lindorm DFS 中的绝对路径。

Main Class

编译后 JAR 包中的任务主类名称。例如:com.example.streaming.KafkaToLindorm。

Files 资源

(可选)选择任务运行时需要依赖的非 JAR 类型文件资源,例如配置文件等。

Jars 资源

(可选)选择任务运行时需要依赖的额外 JAR 包资源。

参数

输入传入代码的参数,多个参数请用空格分隔。可使用 ${var} 格式配置动态参数。

配置项

配置 Spark 运行时参数。对于 Streaming 任务,建议根据数据量配置 spark.executor.instances 和 spark.executor.memory 等参数。Spark 属性的详细信息请参见作业配置说明。也可以在绑定 Lindorm 计算资源时设置全局 Spark 参数。

Python

准备 Python 资源

您需要准备 PySpark Streaming 任务所需的 Python 文件,并通过以下任一方式使其可被节点引用:

  • 方式一:通过 DataWorks 上传 Lindorm File

    在节点编辑面板的主程序包下拉框中,选择已通过 DataWorks 上传至 Lindorm File 的 Python 文件资源。

  • 方式二:在 Lindorm DFS 中上传并输入绝对路径

    将 Python 文件上传至 LindormDFS 后,在节点编辑面板中单击主程序包右侧的输入绝对路径,手动输入 Python 文件在 DFS 中的绝对路径。

    上传步骤如下:

    1. 登录 Lindorm 控制台。从对应地域的实例列表找到已创建的 Lindorm 实例。

    2. 单击实例名称,进入实例详情页面。

    3. 在左侧导航栏,单击计算引擎进入计算引擎页面。

    4. 在作业管理页签,单击上传资源,打开上传资源页面。

    5. 单击虚线框区域,选择已创建的 Python 文件,然后单击打开。

    6. 单击上传完成 Python 文件上传。

    7. 在作业管理页签,找到已上传的文件。单击文件名左侧的复制图标,复制该 Python 文件的 DFS 绝对路径。

配置节点内容

Python 文件准备完成后,在 Lindorm Spark Streaming 节点编辑面板中配置以下参数:

参数

说明

主程序包

选择或输入 Python 文件资源路径。您可以从下拉框中选择已通过 DataWorks 上传的 Lindorm File,也可以单击输入绝对路径手动填写 Python 文件在 Lindorm DFS 中的绝对路径。

Files 资源

(可选)选择任务运行时需要依赖的附加文件资源。

Jars 资源

(可选)选择 PySpark 任务需要依赖的 JAR 包,例如自定义 UDF 或连接器。

参数

输入传入代码的参数,多个参数请用空格分隔。可使用 ${var} 格式配置动态参数。

配置项

配置 Spark 运行时参数。对于 Streaming 任务,建议配置 checkpoint 相关参数以保证容错。Spark 属性的详细信息请参见 Lindorm Spark 作业配置说明。也可以在绑定 Lindorm 计算资源时设置全局 Spark 参数。

运行 Lindorm Spark Streaming 节点

节点内容配置完成后,单击右侧运行配置面板,配置以下各页签中的参数:

页签

参数

说明

计算资源

计算资源

选择已绑定到当前工作空间的 Lindorm 计算资源。

Lindorm 资源组

选择绑定 Lindorm 计算资源时指定的 Lindorm 资源组。

资源组

资源组

选择绑定 Lindorm Spark 计算资源时连通性测试通过的调度资源组。

脚本参数

脚本参数

如果代码中使用了 ${参数名} 格式定义的动态参数,需在此配置对应的参数名和参数值。任务运行时,变量会被动态替换为实际值。

其他配置

运行时长

设置 Streaming 任务的最大运行时长,单位为分钟。超过该时长后任务将被自动停止。

配置完成后,单击保存,然后单击运行以执行节点。

说明

Spark Streaming 任务为常驻运行任务。运行后可在运维中心的实时计算任务中查看作业状态。如需停止任务,可在运维中心手动终止。

发布 Lindorm Spark Streaming 节点

如需将流式任务部署到生产环境运行,单击image图标完成节点部署。发布前,需在右侧实时配置面板中配置以下各页签的参数:

页签

参数

说明

计算资源

计算资源

选择已绑定到当前工作空间的 Lindorm 计算资源。

Lindorm 资源组

选择绑定 Lindorm 计算资源时指定的 Lindorm 资源组。

资源组

资源组

选择绑定 Lindorm Spark 计算资源时连通性测试通过的调度资源组。

脚本参数

脚本参数

如果代码中使用了 ${参数名} 格式定义的动态参数,需在此配置对应的参数名和参数值。

时间属性

启动方式

选择发布后的启动方式:发布后立即启动或发布后不启动。

失败自动重跑

是否在任务失败后自动重新运行。开启后,当 Streaming 任务异常退出时系统将自动重新拉起任务。

重跑次数

设置失败后自动重跑的最大次数。

重跑间隔

设置每次重跑之间的等待时间,单位为分钟。

配置完成后,单击image图标,节点将根据启动方式的配置决定是否立即启动 Streaming 任务。

相关文档