本文介绍通过云原生多模数据库Lindorm控制台管理计算引擎作业,包括创建、查看和终止Spark作业。

前提条件

创建作业

  1. 登录Lindorm管理控制台
  2. 在页面左上角,选择实例所属的地域。
  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理
  4. 在左侧导航栏,选择计算引擎 > 作业管理
  5. 单击创建作业
  6. 创建作业对话框,自定义作业名称并选择作业类型。
  7. 根据作业内容模板,配置以下作业参数,其他参数默认配置。
    参数说明
    token提交Spark作业时用于进行计算资源鉴权的token。您可以通过云原生多模数据库Lindorm控制台获取,单击目标实例ID,在左侧导航栏选择数据库连接,切换至计算引擎页面并查看token值。
    mainResourceJAR包或者Python文件在HDFS或OSS的存储路径。
    mainClassJAR作业的程序入口类。
    args传入mainClass的参数。
    configsSpark系统参数配置。此外,如果您已将作业上传至OSS,则需要在此增加以下配置:
    • spark.hadoop.fs.oss.endpoint:存储作业的OSS地址。
    • spark.hadoop.fs.oss.accessKeyId:通过阿里云控制台创建的Access Key ID,获取方法请参见创建AccessKey
    • spark.hadoop.fs.oss.accessKeySecret:通过阿里云控制台获取Access Key Secret,获取方法请参见创建AccessKey
    • spark.hadoop.fs.oss.impl:访问OSS的类。固定值为:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。
  8. 单击页面右上角的保存
  9. 单击页面右上角的运行

查看作业

  1. 登录Lindorm管理控制台
  2. 在页面左上角,选择实例所属的地域。
  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理
  4. 在左侧导航栏,选择计算引擎 > 作业列表,可以查看Spark作业的详情信息。
    Spark作业描述
    JobIdSpark作业ID。
    AppNameJAR作业名称。
    WebUI地址SparkUI界面的访问地址,可以将目标SparkUI地址复制在浏览器地址栏中,查看目标Spark作业的详细信息,SparkUI界面的介绍请参见通过SparkUI查看运行作业信息
    状态可以查看Spark作业的运行状态。
    详情可以查看Spark作业的运行状态详情信息。
    操作对Spark作业进行终止操作。

终止作业

说明
  • Spark作业的状态为启动中运行才能执行终止操作。
  • 终止操作对Lindorm实例无影响。
  1. 登录Lindorm管理控制台
  2. 在页面左上角,选择实例所属的地域。
  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理
  4. 在左侧导航栏,选择计算引擎 > 作业列表
  5. 单击目标Spark作业操作列中的终止作业