Dataphin管道任务同步数据报错“java.lang.OutOfMemoryError: Compressed class space”

更新时间:2023-03-06 06:11:21

问题描述

用户使用管道任务同步数据时报错“java.lang.OutOfMemoryError: Compressed class space”。

问题原因

管道任务运行过程中压缩类空间溢出,默认大小1GB。

解决方案

创建一个shell任务,内容如下:

@required_resource{required_memory=4GB;required_cpus=1}cat > dlink.json << EOF这里面配置任务jsonEOFpython $DLINK_HOME/bin/dlink.py --jvm '-Xms2g -Xmx2g -XX:CompressedClassSpaceSize=4G'  dlink.json   

因为这个不是常见的堆内存空间溢出,所以直接通过调高管道任务运行JVM内存是无法覆盖掉的。所以要通过shell来改尝试申请。

-Xms2g -Xmx2g -XX:CompressedClassSpaceSize=4G---申请4GB的压缩类空间大小。

适用于

  • Dataphin
  • 管道任务
  • 本页导读
  • 问题描述
  • 问题原因
  • 解决方案
  • 适用于
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等