Dataphin管道任务同步数据报错“java.lang.OutOfMemoryError: Compressed class space”

问题描述

用户使用管道任务同步数据时报错“java.lang.OutOfMemoryError: Compressed class space”。

问题原因

管道任务运行过程中压缩类空间溢出，默认大小1GB。

解决方案

创建一个shell任务，内容如下：

@required_resource{required_memory=4GB;required_cpus=1}
cat > dlink.json << EOF
这里面配置任务json
EOF
python $DLINK_HOME/bin/dlink.py --jvm '-Xms2g -Xmx2g -XX:CompressedClassSpaceSize=4G'  dlink.json   

因为这个不是常见的堆内存空间溢出，所以直接通过调高管道任务运行JVM内存是无法覆盖掉的。所以要通过shell来改尝试申请。

-Xms2g -Xmx2g -XX:CompressedClassSpaceSize=4G---申请4GB的压缩类空间大小。

适用于

• Dataphin
• 管道任务