全部产品
对象存储 OSS

分片上传

更新时间:2017-06-07 13:26:11   分享:   

下面演示通过分片上传文件的整个流程。

初始化分片上传

  1. String uploadId;
  2. InitiateMultipartUploadRequest init = new InitiateMultipartUploadRequest("<bucketName>", "<objectKey>");
  3. InitiateMultipartUploadResult initResult = oss.initMultipartUpload(init);
  4. uploadId = initResult.getUploadId();
  • 我们用InitiateMultipartUploadRequest来指定上传文件的名字和所属存储空间(Bucket)。
  • 在InitiateMultipartUploadRequest中,您也可以设置ObjectMeta,但是不必指定其中的ContentLength 。
  • initiateMultipartUpload 的返回结果中含有UploadId ,它是区分分片上传事件的唯一标识,在后面的操作中,我们将用到它。

上传分片

  1. long partSize = 128 * 1024; // 设置分片大小
  2. int currentIndex = 1; // 上传分片编号,从1开始
  3. File uploadFile = new File("<uploadFilePath>"); // 需要分片上传的文件
  4. InputStream input = new FileInputStream(uploadFile);
  5. long fileLength = uploadFile.length();
  6. long uploadedLength = 0;
  7. List<PartETag> partETags = new ArrayList<PartETag>(); // 保存分片上传的结果
  8. while (uploadedLength < fileLength) {
  9. int partLength = (int)Math.min(partSize, fileLength - uploadedLength);
  10. byte[] partData = IOUtils.readStreamAsBytesArray(input, partLength); // 按照分片大小读取文件的一段内容
  11. UploadPartRequest uploadPart = new UploadPartRequest("<bucketName>", "<objectKey>", uploadId, currentIndex);
  12. uploadPart.setPartContent(partData); // 设置分片内容
  13. UploadPartResult uploadPartResult = oss.uploadPart(uploadPart);
  14. partETags.add(new PartETag(currentIndex, uploadPartResult.getETag())); // 保存分片上传成功后的结果
  15. uploadedLength += partLength;
  16. currentIndex++;
  17. }

上面程序的核心是调用UploadPart方法来上传每一个分片,但是要注意以下几点:

  • UploadPart 方法要求除最后一个Part以外,其他的Part大小都要大于100KB。但是Upload Part接口并不会立即校验上传Part的大小(因为不知道是否为最后一块);只有当Complete Multipart Upload的时候才会校验。
  • OSS会将服务器端收到Part数据的MD5值放在ETag头内返回给用户。
  • Part号码的范围是1~10000。如果超出这个范围,OSS将返回InvalidArgument的错误码。
  • 每次上传part时都要把流定位到此次上传片开头所对应的位置。
  • 每次上传part之后,OSS的返回结果会包含一个分片的ETag,您需要将它和块编号组合成PartEtag,保存在list中,后续完成分片上传需要用到。

完成分片上传

  1. CompleteMultipartUploadRequest complete = new CompleteMultipartUploadRequest("<bucketName>", "<objectKey>", uploadId, partETags);
  2. CompleteMultipartUploadResult completeResult = oss.completeMultipartUpload(complete);
  3. Log.d("multipartUpload", "multipart upload success! Location: " + completeResult.getLocation());

上面代码中的 partETags 就是进行分片上传中保存的partETag的列表,OSS收到用户提交的Part列表后,会逐一验证每个数据Part的有效性。当所有的数据Part验证通过后,OSS会将这些part组合成一个完整的文件。

完成分片上传(设置ServerCallback)

  1. CompleteMultipartUploadRequest complete = new CompleteMultipartUploadRequest("<bucketName>", "<objectKey>", uploadId, partETags);
  2. CompleteMultipartUploadResult completeResult = oss.completeMultipartUpload(complete);
  3. complete.setCallbackParam(new HashMap<String, String>() {
  4. {
  5. put("callbackUrl", "<server address>");
  6. put("callbackBody", "<test>");
  7. }
  8. });
  9. Log.d("multipartUploadWithServerCallback", completeResult.getServerCallbackReturnBody());

完成分片上传请求可以设置Server Callback参数,请求完成后会向指定的Server Adress发送回调请求。

删除分片上传事件

我们可以用 abortMultipartUpload 方法取消分片上传。

  1. AbortMultipartUploadRequest abort = new AbortMultipartUploadRequest("<bucketName>", "<objectKey>", uploadId);
  2. oss.abortMultipartUpload(abort); // 若无异常抛出说明删除成功

罗列分片

我们可以用 listParts 方法获取某个上传事件所有已上传的分片。

  1. ListPartsRequest listParts = new ListPartsRequest("<bucketName>", "<objectKey>", uploadId);
  2. ListPartsResult result = oss.listParts(listParts);
  3. for (int i = 0; i < result.getParts().size(); i++) {
  4. Log.d("listParts", "partNum: " + result.getParts().get(i).getPartNumber());
  5. Log.d("listParts", "partEtag: " + result.getParts().get(i).getETag());
  6. Log.d("listParts", "lastModified: " + result.getParts().get(i).getLastModified());
  7. Log.d("listParts", "partSize: " + result.getParts().get(i).getSize());
  8. }
  • 默认情况下,如果存储空间中的分片上传事件的数量大于1000,则只会返回1000个Multipart Upload信息,且返回结果中 IsTruncated 为false,并返回 NextPartNumberMarker作为下此读取的起点。
  • 若想增大返回分片上传事件数目,可以修改 MaxParts 参数,或者使用 PartNumberMarker 参数分次读取。
本文导读目录
本文导读目录
以上内容是否对您有帮助?