Livy

Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段,同步或者异步的进行结果检索以及Spark Context上下文管理,Livy简化了Spark和应用程序服务器之间的交互,从而使Spark能够用于交互式Web或移动应用程序。

背景信息

Livy还支持如下功能:

  • 长时间运行的Spark Context,可以被多个Spark作业和客户端使用。

  • 在多个Spark作业和客户端之间共享缓存RDD。

  • 同时管理多个Spark Context。

  • 可以通过预编译的JAR包、代码片段、Java APIScala API等多种方式提交作业。

  • 支持一定的安全机制。

支持版本

EMR 5.6.0及以下版本默认支持Livy组件。若您使用的是EMR 5.8.0或更高版本,请自行安装并评估兼容性和安全性风险。

提交作业

您可以通过以下方式提交作业: