本文介绍使用JindoDistCp时遇到的常见问题及解决方案。

list性能低

问题说明

如果您在使用JindoDistCp的过程中,发现list性能较慢,且遇到如下信息:
Successfully list objects with prefix xxx/yyy/ in bucket xxx recursive 0 result 315 dur 100036.615031MS

其中dur 100036.615031MS代表此次list耗时,单位为毫秒。OSS上文件正常的list速度是1000个文件耗时1秒,您可以根据当前目录下文件的数量来判断该list耗时是否异常。例如,上述信息显示list 315个文件的目录需要100秒,显然是不正常的。

解决方案

执行以下命令,增加客户端内存:
export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Xmx4096m"