使用ossimport工具上传大文件时报“The part number should be in the range of [1-10000]”错误

问题描述

使用数据迁移工具ossimport上传文件到阿里云对象存储OSS中,在上传大文件时报以下错误:

java.lang.IllegalArgumentException: The part number should be in the range of [1-10000].

问题原因

在上传大文件时ossimport工具自动使用分片上传方式。分片上传方式中Object的大小是由Part来决定的,且最大支持的Part数量为10000块。Part的范围最小为100KB,最大为5GB,故Object的大小不能超过48.8TB。ossimport工具默认的分片限制为50MB,此设置最大支持上传500GB的文件。

说明:分配上传时分片大小请配置大于100KB的数据,否则无效,最后一块可以比100KB小。

解决方案

ossimport工具的local_job.cfg配置文件中设置以下参数。此设置最大支持上传500GB的文件,可以修改该参数值,支持更大的文件进行上传。

multipartUploadPartSize=50m

相关文档

适用于

  • 对象存储OSS