全部产品
云市场

通过脚本管理Spark任务

更新时间:2019-07-23 16:51:46

本文介绍如何通过脚本管理Spark任务。

注意事项

  • 使用脚本之前需要先下载脚本

  • 目前仅支持使用DLA主账号或者子账号通过脚本方式创建和管理Spark任务。

  • 暂不支持使用RAM子账号通过脚本方式创建和管理Spark任务。

查看Spark任务详情

命令格式

  1. dla-spark-submit.py
  2. ## 登录DLA控制台 > 账号管理获取账号信息。
  3. --user "用户名。" --password "用户密码。"
  4. ## 登录DLA控制台 > Spark > 配置管理获取Spark连接地址。
  5. --master "Spark连接地址即VPC内访问链接,包含端口号,例如http://***-sp-be***ec.vpc.cn-hangzhou.datalakeanalytics.aliyuncs.com:10000。"
  6. --act "status"
  7. --jobid "任务id"

示例

  1. ./dla-spark-submit.py --master 'xxx:xxx' --user 'xxx' --password 'xxx' --act 'status' --jobid
  2. ‘****7111512bja3b320****’
  3. ## 打印结果,
  4. {'content':'{"update_time":1562829162000,"job_name":"test-submit","create_time":1562829147000,"submit_time":1562829141000,"job_id":"****7111512bja3b320****","spark_ui":"http://****7111512bja3b320****-ui-svc.ns-****12275730****-7s9666:4040","status":"success"}', 'status_code': 200}

删除单个Spark任务

注意:执行删除命令后,Spark任务将被彻底删除。

命令格式

  1. dla-spark-submit.py
  2. ## 登录DLA控制台 > 账号管理获取账号信息。
  3. --user "用户名。" --password "用户密码。"
  4. ## 登录DLA控制台 > Spark > 配置管理获取Spark连接地址。
  5. --master "Spark连接地址即VPC内访问链接,包含端口号,例如http://***-sp-be***ec.vpc.cn-hangzhou.datalakeanalytics.aliyuncs.com:10000。"
  6. --act "delete"
  7. --jobid "任务id"

示例

  1. dla-spark-submit.py
  2. ## 登录DLA控制台 > 账号管理获取账号信息。
  3. --user "用户名。" --password "用户密码。"
  4. ## 登录DLA控制台 > Spark > 配置管理获取Spark连接地址。
  5. --master "http://***-sp-be***ec.vpc.cn-hangzhou.datalakeanalytics.aliyuncs.com:10000"
  6. --act "delete"
  7. --jobid "****7111512bja3b320****"
  8. ## 打印结果,
  9. {'content': '{"msg":"deleted."}', 'status_code': 200}

批量删除Spark任务

注意:执行删除命令后,Spark任务将被彻底删除。

命令格式

  1. dla-spark-submit.py
  2. ## 登录DLA控制台 > 账号管理获取账号信息。
  3. --user "用户名。" --password "用户密码。"
  4. ## 登录DLA控制台 > Spark > 配置管理获取Spark连接地址。
  5. --master "Spark连接地址即VPC内访问链接,包含端口号,例如http://***-sp-be***ec.vpc.cn-hangzhou.datalakeanalytics.aliyuncs.com:10000。"
  6. --act "delete"
  7. --jobid "id1,id2,id3"

查看Spark任务列表

  1. dla-spark-submit.py
  2. ## 登录DLA控制台 > 账号管理获取账号信息。
  3. --user "用户名。" --password "用户密码。"
  4. ## 登录DLA控制台 > Spark > 配置管理获取Spark连接地址。
  5. --master "http://***-sp-be***ec.vpc.cn-hangzhou.datalakeanalytics.aliyuncs.com:10000"
  6. --act "list"
  7. ## 打印结果
  8. {'content': '[{"update_time":1562811208000,"job_name":"SparkPi","create_time":1562811192000,"submit_time":1562811187000,"job_id":"****ja3b320e1000****","spark_ui":"http://****ja3b320e1000****-ui-svc.ns-****275730****-7s9666:4040","status":"success"},
  9. {"update_time":1562829085000,"job_name":"test-submit","create_time":1562829070000,"submit_time":1562829064000,"job_id":"****11511bja3b320e100****,"spark_ui":"http://****11511bja3b320e100****-ui-svc.ns-****275730****-7s9666:4040","status":"success"}]',
  10. 'status_code': 200}