Compute
Compute是指EMR Serverless Spark工作空间中可用的计算资源。
Compute类型
在Serverless Spark中,支持以下Compute类型:
SQL Compute:用于SQL开发和查询。在SQL编辑器运行查询操作时,需要选择一个合适的SQL Compute。
Notebook Compute:用于运行Notebook。在执行Notebook开发时,需要创建并选择合适的Notebook Compute。
Gateway:用于部署Livy服务。使用Airflow、Jupyter等工具通过Livy接口向Serverless Spark提交任务时,需要指定一个Gateway Compute。
Spark Thrift Server:Spark Thrift Server是Apache Spark提供的一种服务,支持通过JDBC或ODBC连接并执行SQL查询,从而便捷地将Spark环境与现有的商业智能(BI)工具、数据可视化工具及其他数据分析工具集成。
队列:用于Application任务的运行,以及工作流节点的实际作业运行。