文档

通过控制台管理作业

更新时间:

本文介绍通过云原生多模数据库 Lindorm控制台管理计算引擎作业,包括创建、查看和终止Spark作业。

前提条件

创建作业

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击计算引擎

  5. 单击作业管理页签。

  6. 单击创建作业

  7. 创建作业对话框,自定义作业名称并选择作业类型。

  8. 根据作业内容模板,配置以下作业参数,其他参数默认配置。

    参数

    说明

    token

    提交Spark作业时用于进行计算资源鉴权的token。您可以通过云原生多模数据库 Lindorm控制台获取,单击目标实例ID,在左侧导航栏选择数据库连接,切换至计算引擎页面并查看token值。

    mainResource

    JAR包或者Python文件在HDFS或OSS的存储路径。

    mainClass

    JAR作业的程序入口类。

    args

    传入mainClass的参数。

    configs

    Spark系统参数配置。此外,如果您已将作业上传至OSS,则需要在此增加以下配置:

    • spark.hadoop.fs.oss.endpoint:存储作业的OSS地址。

    • spark.hadoop.fs.oss.accessKeyId:通过阿里云控制台创建的Access Key ID,获取方法请参见创建AccessKey

    • spark.hadoop.fs.oss.accessKeySecret:通过阿里云控制台获取Access Key Secret,获取方法请参见创建AccessKey

    • spark.hadoop.fs.oss.impl:访问OSS的类。固定值为:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。

  9. 单击页面右上角的保存

  10. 单击页面右上角的运行

查看作业

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击计算引擎

  5. 单击作业列表页签,查看Spark作业的详情信息。

    Spark作业

    描述

    JobId

    Spark作业ID。

    AppName

    JAR作业名称。

    WebUI地址

    SparkUI界面的访问地址,可以将目标SparkUI地址复制在浏览器地址栏中,通过宽表引擎的用户名和密码登录SparkUI,查看目标Spark作业的详细信息。SparkUI界面的介绍请参见查看作业运行信息

    说明

    宽表引擎默认用户名和密码的获取方式:在数据库连接页面,单击宽表引擎页签,复制默认用户名及密码。

    状态

    可以查看Spark作业的运行状态。

    详情

    可以查看Spark作业的运行状态详情信息。

    操作

    对Spark作业进行终止操作。

终止作业

说明
  • Spark作业的状态为启动中运行才能执行终止操作。

  • 终止操作对Lindorm实例无影响。

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击计算引擎

  5. 单击作业列表页签。

  6. 单击目标Spark作业操作列中的终止作业

  • 本页导读 (1)
文档反馈