在测试过程中,您会发现错误参数配置容易导致Spark作业异常情况出现。本文介绍如何通过Spark UI和ACK Spark History Server查看作业执行情况和排查问题。
前提条件
访问Spark UI
任务运行过程中,可以通过Spark UI实时看到每个SQL的执行情况。操作步骤如下。
访问ACK Spark History Server
任务结束后,如果想看到历史数据,可以采用以下操作方式。
更新时间:2020-09-08 11:00
在测试过程中,您会发现错误参数配置容易导致Spark作业异常情况出现。本文介绍如何通过Spark UI和ACK Spark History Server查看作业执行情况和排查问题。
任务运行过程中,可以通过Spark UI实时看到每个SQL的执行情况。操作步骤如下。
kubectl port-forward service/tpcds-query-runner-with-alluxio-ui-svc 4040:4040
任务结束后,如果想看到历史数据,可以采用以下操作方式。
kubectl get sparkapplication tpcds-query-runner-with-alluxio -o yaml
kubectl get service ack-spark-history-server
在文档使用中是否遇到以下问题
更多建议
匿名提交