使用OssImport工具上传大文件时报错

使用OssImport工具上传大文件时报错

更新时间:2019-02-25 21:09:04

问题描述

使用OssImport工具将数据上传到OSS中,在上传大文件时报如下错误。
java.lang.IllegalArgumentException: The part number should be in the range of [1-10000].

问题原因

在上传大文件时OssImport工具自动使用分片上传方式。分片上传方式中Object的大小是由Part来决定的,且最大支持的Part数量为10000块。Part的范围最小为100KB,最大为5GB,故Object的大小不能超过48.8TB。OssImport工具默认的分片限制为50M,此设置最大支持上传500G的文件。
注:最后一块可以比100KB小。

解决方案

OssImport工具的配置文件中local_job参数设置如下。此设置最大支持上传500G的文件,可以修改该参数值,支持更大的文件进行上传。
multipartUploadPartSize=50m

相关文档

适用于

  • 对象存储 OSS