全部产品
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
数据集成

数据同步内存溢出

更新时间:2017-06-29 21:12:46

用户问题

数据集成报错,日志提示: Code:[Framework-13], Description:[DataX插件运行时出错, 具体原因请参看DataX运行结束时的错误诊断信息 .]. - java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3236)

问题原因

出现这个提示的原因是因为任务数据量稍大并且同步的速度太快,一般是接近10M每秒,导致用户的调度服务器内存溢出报错。

  1. 用户可以在大数据开发套件->数据集成-查看数据同步任务的速度情况,一般出现内存溢出都是速度设置过大导致的,这里建议尝试把同步速度调小。
  2. 用户可以在大数据开发套件->数据开发-看下数据同步任务的同步速度是不是太大,检查该调度资源有其他大的任务或者比较多的任务在执行
  3. 先尝试把同步速度调小,看下其他任务执行状态,资源比较多的时候执行同步。
  4. 可以将数据任务分时间段来执行,不要在同一时间执行,另外同步速度不宜很大。如果有需求,可以考虑增加调度服务器的配置或者实例。

    如问题还未解决,请联系售后技术支持

     

本文导读目录