本文档介绍如何在E-MapReduce的Spark集群中修改spark-env配置。

问题症状

Spark配置中的spark-env.sh配置文件中提供了服务的一些环境变量配置,例如,配置pyspark的Python运行时。当您使用EMR的Spark集群时,在控制台上只能支持修改spark-defaults,目前还不支持修改spark-env配置。


修改spark-defaults

解决办法

解决这个问题,您需要登录到header节点,同时修改/etc/ecm/spark-conf/spark-env.sh及/var/lib/ecm-agent/cache/ecm/service/SPARK/<版本号>/package/templates/spark-env.sh两个文件中的配置。

说明 /etc/ecm/<服务>-conf/是标准的配置文件,但若只更改该目录下的配置,在服务重启后,修改的配置会被还原导致不生效。因此,要同时修改对应服务的模板中配置文件,目录为:/var/lib/ecm-agent/cache/ecm/service/<服务名>/<版本号>/package/templates/。同时修改两个文件,可以保证手动修改的配置文件不会因服务重启而还原配置。

修改配置示例