Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段,同步或者异步的进行结果检索以及Spark Context上下文管理,Livy简化了Spark和应用程序服务器之间的交互,从而使Spark能够用于交互式Web或移动应用程序。
背景信息
Livy还支持如下功能:
长时间运行的Spark Context,可以被多个Spark作业和客户端使用。
在多个Spark作业和客户端之间共享缓存RDD。
同时管理多个Spark Context。
可以通过预编译的JAR包、代码片段、Java API和Scala API等多种方式提交作业。
支持一定的安全机制。
支持版本
EMR 5.6.0及以下版本默认支持Livy组件。若您使用的是EMR 5.8.0或更高版本,请自行安装并评估兼容性和安全性风险。
提交作业
您可以通过以下方式提交作业:
该文章对您有帮助吗?