Celeborn是一个处理中间数据的服务,能够提升大数据引擎的稳定性、灵活性和性能,能够处理Shuffle和Spill数据。本文为您介绍如何使用Celeborn服务。

背景信息

目前Shuffle方案缺点如下:
  • Shuffle Write在大数据量场景下会溢出,导致写放大。
  • Shuffle Read过程中存在大量的网络小包导致的Connection reset问题。
  • Shuffle Read过程中存在大量小数据量的IO请求和随机读,对磁盘和CPU造成高负载。
  • 对于M*N次的连接数,在M和N数千的规模下,作业基本无法完成。
  • NodeManager和Spark Shuffle Service是同一进程,当Shuffle的数据量特别大时,通常会导致NodeManager重启,从而影响YARN调度的稳定性。
Celeborn服务可以优化目前Shuffle方案的问题。Celeborn优势如下:
  • 使用Push-Style Shuffle代替Pull-Style,减少Mapper的内存压力。
  • 支持IO聚合,Shuffle Read的连接数从M*N降到N,同时更改随机读为顺序读。
  • 支持两副本机制,降低Fetch Fail概率。
  • 支持计算与存储分离架构,可以部署Shuffle Service至特殊硬件环境中,与计算集群分离。
  • 解决Spark on Kubernetes时对本地磁盘的依赖。
Celeborn设计架构图如下。Celeborn

前提条件

已创建E-MapReduce的DataLake集群或自定义集群,并择Celeborn服务。创建集群详情请参见创建集群

使用限制

此文档仅适用于以下版本的集群。

集群版本
DataLake集群EMR-3.45.0及后续版本,EMR-5.11.0及后续版本。
自定义集群EMR-3.45.0及后续版本,EMR-5.11.0及后续版本。

操作步骤

Spark配置

参数描述
spark.shuffle.manager固定值org.apache.spark.shuffle.celeborn.RssShuffleManager
spark.serializer固定值org.apache.spark.serializer.KryoSerializer
spark.celeborn.push.replicate.enabled是否开启两副本。取值如下:
  • true(默认值):开启两副本。
  • false:不开启两副本。
spark.shuffle.service.enabled需修改为false,才会使用Celeborn。

使用Celeborn时需要关闭原有的External Shuffle Service。在使用Celeborn的情况下,是可以正常使用Spark的Dynamic Allocation的。

说明
  • 设置spark.shuffle.service.enabled为true,则不使用Celeborn。
  • 阿里云Spark已完成Celeborn适配,开源Spark 3.5版本已完成Celeborn适配。
spark.celeborn.shuffle.writerCeleborn的wirter支持的模式:
  • hash(默认值):在Partition并发度过大的情况下会使用较多的内存。
  • sort:使用固定大小内存,在Partition并发度很大的情况下,能够稳定工作。
spark.celeborn.master.endpoints填写格式<celeborn-master-ip>:<celeborn-master-port>
涉及参数如下:
  • <celeborn-master-ip>:Master节点的公网IP地址。
  • <celeborn-master-port>:固定值9097。

高可用集群时配置所有Master节点的IP地址。

spark.sql.adaptive.enabled

Celeborn支持Adaptive Execution,关闭Local Shuffle Reader可以获得最佳的Shuffle性能。

各参数值需要修改为true、false和true。

spark.sql.adaptive.localShuffleReader.enabled
spark.sql.adaptive.skewJoin.enabled

Spark服务支持一键配置使用Celeborn服务。

  • EMR-5.11.1及之后版本,EMR-3.45.1及之后版本

    可以在Spark服务状态页面的服务概述区域,打开或关闭enableCeleborn开关。

  • EMR-5.11.0版本,EMR-3.45.0版本
    可以在Spark服务状态页面的组件列表区域,选择SparkThriftServer操作列的more > enableCelebornmore > disableCeleborn。选择后会自动修改上文表格中的Spark配置项并重启SparkThriftServer,同时会修改spark-defaults.confspark-thriftserver.conf两个配置文件。
    • 选择more > enableCeleborn,所有的Spark任务都使用Celeborn服务。
    • 选择more > disableCeleborn,所有的Spark任务都不使用Celeborn服务。

Celeborn配置

您可以在Celeborn服务配置页面,修改或查看Celeborn所有的配置项。
重要 针对不同的节点组(例如CORE或TASK)各配置项的值是不同的。
参数描述默认值
celeborn.worker.flusher.threads磁盘(HDD或者SSD)的刷盘线程数。
  • HDD磁盘默认是1。
  • SSD磁盘默认是8。
CELEBORN_WORKER_OFFHEAP_MEMORYWorker堆外内存大小。根据集群配置自动计算。
celeborn.application.heartbeat.timeoutApplication心跳超时时间,超时会清理Application相关资源。120s
celeborn.worker.flusher.buffer.sizeFlush buffer大小,超过最大值会触发刷盘。256K
celeborn.metrics.enabled是否打开监控。取值如下:
  • true:打开监控。
  • false:不打开监控。
true
CELEBORN_WORKER_MEMORYWorker堆内内存大小。1g
CELEBORN_MASTER_MEMORYMaster堆内内存大小。2g

重启Celeborn组件

  1. 在Celeborn服务的状态页面,选择CelebornMaster组件操作列的more > restart_clean_meta
    说明 如果是非高可用集群,您也可以单击CelebornMaster组件操作列的重启
  2. 在弹出的对话框中,关闭滚动执行开关,输入执行原因,单击确定
  3. 在弹出的对话框中,单击确定