本文介绍通过云原生多模数据库 Lindorm控制台管理计算引擎作业,包括创建、查看和终止Spark作业。
前提条件
- 已开通计算引擎。如何开通,请参见开通与变配。 
- 已完成作业开发。如何开发,请参见JAR作业开发实践或Python作业开发实践。 
- 已将作业上传至HDFS或OSS。如何上传至HDFS,请参见通过控制台上传文件。 
创建作业
- 登录Lindorm管理控制台。 
- 在页面左上角,选择实例所属的地域。 
- 在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。 
- 在左侧导航栏,单击计算引擎。 
- 单击作业管理页签。 
- 单击创建作业。 
- 在创建作业对话框,自定义作业名称并选择作业类型。 
- 根据作业内容模板,配置以下作业参数,其他参数默认配置。 - 参数 - 说明 - token - 提交Spark作业时用于进行计算资源鉴权的token。您可以通过云原生多模数据库 Lindorm控制台获取,单击目标实例ID,在左侧导航栏选择数据库连接,切换至计算引擎页面并查看token值。 - mainResource - JAR包或者Python文件在HDFS或OSS的存储路径。 - mainClass - JAR作业的程序入口类。 - args - 传入mainClass的参数。 - configs - Spark系统参数配置。此外,如果您已将作业上传至OSS,则需要在此增加以下配置: - spark.hadoop.fs.oss.endpoint:存储作业的OSS地址。 
- spark.hadoop.fs.oss.accessKeyId:通过阿里云控制台创建的Access Key ID,获取方法请参见创建AccessKey。 
- spark.hadoop.fs.oss.accessKeySecret:通过阿里云控制台获取Access Key Secret,获取方法请参见创建AccessKey。 
- spark.hadoop.fs.oss.impl:访问OSS的类。固定值为:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。 
 
- 单击页面右上角的保存。 
- 单击页面右上角的运行。 
查看作业
- 登录Lindorm管理控制台。 
- 在页面左上角,选择实例所属的地域。 
- 在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。 
- 在左侧导航栏,单击计算引擎。 
- 单击作业列表页签,查看Spark作业的详情信息。 - Spark作业 - 描述 - JobId - Spark作业ID。 - AppName - JAR作业名称。 - WebUI地址 - SparkUI界面的访问地址,可以将目标SparkUI地址复制在浏览器地址栏中,通过宽表引擎的用户名和密码登录SparkUI,查看目标Spark作业的详细信息。SparkUI界面的介绍请参见查看作业运行信息。 说明- 宽表引擎默认用户名和密码的获取方式:在数据库连接页面,单击宽表引擎页签,复制默认用户名及密码。 - 状态 - 可以查看Spark作业的运行状态。 - 详情 - 可以查看Spark作业的运行状态详情信息。 - 操作 - 对Spark作业进行终止操作。 
终止作业
- Spark作业的状态为启动中和运行才能执行终止操作。 
- 终止操作对Lindorm实例无影响。 
- 登录Lindorm管理控制台。 
- 在页面左上角,选择实例所属的地域。 
- 在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。 
- 在左侧导航栏,单击计算引擎。 
- 单击作业列表页签。 
- 单击目标Spark作业操作列中的终止作业。