如何上传大文件到OSS

概述

通过OSS文件上传工具或者OSS SDK上传超过5GB文件时，存在上传失败或者上传慢的情况，本文主要介绍如何上传大文件到OSS。

详细描述

OSS支持单个文件的大小为0到48.8T。当需要上传大文件或一次性上传较多文件时，若遇到以下两种情况，建议通过SDK或API的分片上传和断点续传、图形化管理工具ossbrowser或者命令行工具ossutil上传文件。

• 单个文件超过5GB，且无法通过OSS控制台上传、简单上传、表单上传、追加上传的方式上传单个文件。
• 文件虽然小于5GB，但网络环境较差，经常因网络原因导致连接超时或连接断开等情况，上传容易失败。

方式一：分片断点续传

请参考分片上传和断点续传文档进行操作，适用场景如下：

• 单个文件大小超过5GB。
• 流式上传：当对文件大小还不确定的情况下，就开始上传。比如视频监控等行业的云录像应用。
• 恶劣的网络环境：需要断点续传大文件。如手机端，当出现上传失败的时候，可以对失败的分片进行独立的重试，而不需要重新上传其他的分片。
• 加速上传：要上传到OSS的本地文件很大的时候，可以并行上传多个分片以加快上传速度。

方式二：使用ossbrowser工具上传

请参考ossbrowser上传文档进行操作，ossbrowser工具的使用说明如下：

• ossbrowser支持临时授权码登录。
• 当前登录ossbrowser的AK拥有RAM的配置操作权限时，可以使用简化Policy授权。
• 上传、下载文件较多时，可通过修改上传下载的任务数，提高上传、下载速度。
• ossbrowser默认使用分片上传和断点续传上传文件，上传文件最大不能超过48.8 TB。

方式三：使用ossutil工具上传

请参考ossutil上传文档进行操作，ossutil工具的使用说明如下：

• 可以使用ossutil命令行工具的cp命令上传大文件。
• 可通过--bigfile-threshold 参数控制分片并发上传的文件大小阈值。
• ossutil上传单个或多个大文件时，可以通过-jobs项和-parallel项，控制并发，优化上传性能。
• 如果需要上传大批量的文件（包括大文件）到OSS，也可以使用ossimport工具。
• 当文件数目不是特别多，建议优先使用ossutil。

更多信息

上传大文件的常见问题如下：

• 使用简单上传（PutObject）上传大文件无法成功，原因可能如下。

  • 文件大小超过5GB。
    • 用户可以使用ossutil命令行工具，通过分块上传的接口将大文件分成多个小的分块进行上传，详细的接口使用请参考分片上传和断点续传。

  • 文件小于5GB，可能由于网络环境原因，出现上传小文件正常，但上传较大文件时，请求发出去就收不到任何响应，直至超时的情况。这有可能是服务器的MTU设置较大导致的。用户可在ECS上执行netstat -i获取当前的MTU设置值。如下图获得默认的内外网网卡的MTU都是1500。
    

    • 将本机的MTU改小一些。Linux下通过ip link set dev eth0 mtu 1470命令修改MTU（此处以ECS通过eth0内网访问OSS调整MTU值为1470）。
    • 也可以使用分片上传接口或ossutil工具。

• 上传单个大文件能不能并发上传。

  • 如使用ossutil上传时，可以通过--bigfile-threshold、-jobs和-parallel选项，具体请参考ossutil文档。
  • 如使用OSS API、SDK的分片上传接口，可以根据需要编写并发调用上传接口的代码。同时，部分SDK也已实现分片上传的并发控制，如Java SDK通过taskNum，Python SDK通过num_threads参数控制。

适用于

• 对象存储 OSS