Compute是指EMR Serverless Spark工作空间中可用的计算资源。您需要使用Notebook Compute来进行Notebook开发。 本文主要为您介绍如何创建Notebook Compute。
创建Notebook Compute
Notebook Compute创建完成后,您可以在进行Notebook开发时选择此Compute。
进入Notebook Compute页面。
在左侧导航栏,选择
。在Spark页面,单击目标工作空间名称。
在EMR Serverless Spark页面,选择左侧导航栏中的Compute。
单击Notebook Compute页签。
在Notebook Compute页面,单击创建Notebook Compute。
在创建Notebook Compute页面,配置以下信息,单击创建。
重要建议将所选部署队列的并发上限至少设置为Notebook Compute所需的资源大小,具体数值请以控制台展示为准。
参数
说明
名称
新建Notebook Compute的名称。
长度限制为1~64个字符,仅支持字母、数字、短划线(-)、下划线(_)和空格。
部署队列
请选择合适的开发队列部署Compute。仅支持选择开发或者开发和生产公用的队列。
队列更多信息,请参见管理资源队列。
引擎版本
当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍。
自动停止
默认开启。120分钟不活动后自动停止Notebook Compute。
spark.driver.cores
用于指定Spark应用程序中Driver进程所使用的CPU核心数量。默认值为1 CPU。
spark.driver.memory
用于指定Spark应用程序中Driver进程可以使用的内存量。默认值为3.5 GB。
spark.executor.cores
用于指定每个Executor进程可以使用的CPU核心数量。默认值为1 CPU。
spark.executor.memory
用于指定每个Executor进程可以使用的内存量。默认值为3.5 GB。
spark.executor.instances
Spark分配的执行器(Executor)数量。默认值为2。
动态资源分配
默认关闭。开启后,需要配置以下参数:
executors数量下限:默认为2。
executors数量上限:如果未设置spark.executor.instances,则默认值为10。
更多内存配置(点击展开)
spark.driver.memoryOverhead:每个Driver可利用的非堆内存。默认值为1 GB。
spark.executor.memoryOverhead:每个Executor可利用的非堆内存。默认值为1 GB。
spark.memory.offHeap.size:Spark可用的堆外内存大小。默认值为1 GB。
仅在
spark.memory.offHeap.enabled
设置为true
时生效。默认情况下,当采用Fusion Engine时,该功能将处于启用状态,其非堆内存默认设置为1 GB。
Spark配置
填写Spark配置信息,默认以空格符分隔,例如,
spark.sql.catalog.paimon.metastore dlf
。单击新建Notebook Compute操作列的启动。
相关文档
队列相关的操作,请参见管理资源队列。
Compute支持的角色及权限,请参见管理用户和角色。
Notebook完整的开发流程示例,请参见Notebook开发快速入门。