通过控制台管理作业

更新时间:
复制为 MD 格式

本文介绍通过云原生多模数据库 Lindorm控制台管理计算引擎作业,包括创建、查看和终止Spark作业。

前提条件

创建作业

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击计算引擎

  5. 单击作业管理页签。

  6. 单击创建作业

  7. 创建作业对话框,自定义作业名称并选择作业类型。

  8. 根据作业内容模板,配置以下作业参数,其他参数默认配置。

    参数

    说明

    token

    提交Spark作业时用于进行计算资源鉴权的token。您可以通过云原生多模数据库 Lindorm控制台获取,单击目标实例ID,在左侧导航栏选择 数据库连接,切换至计算引擎页面并查看token值。

    mainResource

    JAR包或者Python文件在HDFSOSS的存储路径。

    mainClass

    JAR作业的程序入口类。

    args

    传入mainClass的参数。

    configs

    Spark系统参数配置。此外,如果您已将作业上传至OSS,则需要在此增加以下配置:

    • spark.hadoop.fs.oss.endpoint:存储作业的OSS地址。

    • spark.hadoop.fs.oss.accessKeyId:通过阿里云控制台创建的Access Key ID,获取方法请参见创建AccessKey

    • spark.hadoop.fs.oss.accessKeySecret:通过阿里云控制台获取Access Key Secret,获取方法请参见创建AccessKey

    • spark.hadoop.fs.oss.impl:访问OSS的类。固定值为:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。

  9. 单击页面右上角的保存

  10. 单击页面右上角的运行

查看作业

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击计算引擎

  5. 单击作业列表页签,查看Spark作业的详情信息。

    Spark作业

    描述

    Job Id

    Spark作业ID。

    AppName

    JAR作业名称。

    WebUI地址

    SparkUI界面的访问地址,可以将目标SparkUI地址复制在浏览器地址栏中,通过宽表引擎的用户名和密码登录SparkUI,查看目标Spark作业的详细信息。SparkUI界面的介绍请参见查看作业运行信息

    说明

    宽表引擎默认用户名和密码的获取方式:在 数据库连接页面,单击宽表引擎页签,复制默认用户名及密码。

    状态

    可以查看Spark作业的运行状态。

    详情

    可以查看Spark作业的运行状态详情信息。

    操作

    Spark作业进行终止操作。

终止作业

说明
  • Spark作业的状态为启动中运行才能执行终止操作。

  • 终止操作对Lindorm实例无影响。

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击计算引擎

  5. 单击作业列表页签。

  6. 单击目标Spark作业操作列中的终止作业