本文介绍使用JindoDistCp时遇到的常见问题及解决方案。
list性能低
问题说明
如果您在使用JindoDistCp的过程中,发现list性能较慢,且遇到如下信息:
Successfully list objects with prefix xxx/yyy/ in bucket xxx recursive 0 result 315 dur 100036.615031MS
其中dur 100036.615031MS
代表此次list耗时,单位为毫秒。OSS上文件正常的list速度是1000个文件耗时1秒,您可以根据当前目录下文件的数量来判断该list耗时是否异常。例如,上述信息显示list
315个文件的目录需要100秒,显然是不正常的。
解决方案
执行以下命令,增加客户端内存:
export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Xmx4096m"