JAR作业开发实践

本文介绍Lindorm计算引擎JAR作业开发的详细步骤。

前提条件

  • 已创建并开通Lindorm实例的宽表引擎,具体操作请参见创建实例

  • 已开通Lindorm实例的计算引擎服务,具体操作请参见开通与变配

  • 已安装Java环境,要求使用JDK 1.8及以上版本。

步骤一:依赖配置

Lindorm计算引擎JAR作业依赖社区版Spark 3.2.1版本,并且需要将scope字段配置为provided。示例如下:

<!-- Example -->
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.2.1</version>
  <scope>provided</scope>
</dependency>

步骤二:权限配置

如果您需要通过Spark SQL的方式访问Lindorm宽表引擎数据,访问方法请参见访问宽表数据,并且需要配置用户名密码,代码示例如下:

SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");

参数

参数值

说明

spark.sql.catalog.lindorm_table.username

默认用户名root。

访问Lindorm宽表引擎的用户名。

spark.sql.catalog.lindorm_table.password

默认密码root。

访问Lindorm宽表引擎的密码。

步骤三:参数配置

Lindorm计算引擎提供的配置项和配置方法请参见作业配置说明

步骤四:代码示例

JAR作业代码开发方式完全兼容社区版Spark 3.2.1版本,代码示例请参见Spark作业示例

步骤五:作业提交

Lindorm计算引擎支持以下两种方式提交并管理作业。