本文介绍Lindorm计算引擎JAR作业开发的详细步骤。
前提条件
步骤一:依赖配置
Lindorm计算引擎JAR作业依赖社区版Spark 3.2.1版本,并且需要将scope
字段配置为provided
。示例如下:
<!-- Example -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.2.1</version>
<scope>provided</scope>
</dependency>
步骤二:权限配置
如果您需要通过Spark SQL的方式访问Lindorm宽表引擎数据,访问方法请参见访问宽表数据,并且需要配置用户名密码,代码示例如下:
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");
参数 | 参数值 | 说明 |
spark.sql.catalog.lindorm_table.username | 默认用户名root。 | 访问Lindorm宽表引擎的用户名。 |
spark.sql.catalog.lindorm_table.password | 默认密码root。 | 访问Lindorm宽表引擎的密码。 |
步骤三:参数配置
Lindorm计算引擎提供的配置项和配置方法请参见作业配置说明。
步骤四:代码示例
JAR作业代码开发方式完全兼容社区版Spark 3.2.1版本,代码示例请参见Spark作业示例。
步骤五:作业提交
文档内容是否对您有帮助?