Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段,同步或者异步的进行结果检索以及Spark Context上下文管理,Livy简化了Spark和应用程序服务器之间的交互,从而使Spark能够用于交互式Web或移动应用程序。

背景信息

Livy还支持如下功能:
  • 长时间运行的Spark Context,可以被多个Spark作业和客户端使用。
  • 在多个Spark作业和客户端之间共享缓存RDD。
  • 同时管理多个Spark Context。
  • 可以通过预编译的JAR包、代码片段、Java API和Scala API等多种方式提交作业。
  • 支持一定的安全机制。
Livy的基本架构如下图所示:Architecture diagram

提交作业

您可以通过以下方式提交作业: