OSS提供的分片上传(Multipart Upload)功能,将要上传的较大文件(Object)分成多个分片(Part)来分别上传,上传完成后再调用CompleteMultipartUploadAsync接口将这些Part组合成一个Object。
注意事项
本文示例代码以华东1(杭州)的地域ID
cn-hangzhou
为例,默认使用外网Endpoint,如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见OSS地域和访问域名。要分片上传,您必须有
oss:PutObject
权限。具体操作,请参见为RAM用户授予自定义的权限策略。
分片上传流程
分片上传(Multipart Upload)分为以下三个步骤:
初始化一个分片上传事件。
调用Client.InitiateMultipartUploadAsync方法返回OSS创建的全局唯一的uploadID。
上传分片。
调用Client.UploadPartAsync方法上传分片数据。
说明对于同一个uploadID,分片号(partNumber)标识了该分片在整个文件内的相对位置。如果使用同一个分片号上传了新的数据,那么OSS上该分片已有的数据将会被覆盖。
OSS将收到的分片数据的MD5值放在ETag头内返回给用户。
OSS计算上传数据的MD5值,并与SDK计算的MD5值比较,如果不一致则返回InvalidDigest错误码。
完成分片上传。
所有分片上传完成后,调用Client.CompleteMultipartUploadAsync方法将所有分片合并成完整的文件。
示例代码
以下代码展示如何将本地的大文件分割成多个分片文件并发上传到存储空间,然后合并成完整的文件对象。
using OSS = AlibabaCloud.OSS.V2; // 为阿里云OSS SDK创建别名,简化后续使用
var region = "cn-hangzhou"; // 必须项,设置Bucket所在的区域(Region)。以华东1(杭州)为例,Region填写为cn-hangzhou
var endpoint = null as string; // 可选项,指定访问OSS服务的域名。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com
var bucket = "you bucket name"; // 必须项,Bucket名称
var key = "your object key"; // 必须项,待上传的目标文件对象名称
var partSize = 512*1024; // 必须项,每次上传文件的分片大小,以512*1024为例,每个分片大小512kb
var filePath = "filePath"; // 必须项,需上传的目标文件路径
// 加载OSS SDK的默认配置,此配置会自动从环境变量中读取凭证信息(如AccessKey)
var cfg = OSS.Configuration.LoadDefault();
// 显式设置使用环境变量获取凭证,用于身份验证(格式:OSS_ACCESS_KEY_ID、OSS_ACCESS_KEY_SECRET)
cfg.CredentialsProvider = new OSS.Credentials.EnvironmentVariableCredentialsProvider();
// 设置配置的Bucket区域
cfg.Region = region;
// 若已指定了endpoint,则覆盖默认的endpoint
if(endpoint != null)
{
cfg.Endpoint = endpoint;
}
// 使用配置信息创建OSS客户端实例
using var client = new OSS.Client(cfg);
// 初始化分片上传
var initResult = await client.InitiateMultipartUploadAsync(new()
{
Bucket = bucket,
Key = key
});
// 打开要上传的文件
using var file = File.OpenRead(filePath);
long fileSize = file.Length;
long partNumber = 1;
// 存储所有分片上传后的信息
var uploadParts = new List<OSS.Models.UploadPart>();
// 分块上传文件
for (long offset = 0; offset < fileSize; offset += partSize)
{
// 计算当前分片的大小
var size = Math.Min(partSize, fileSize - offset);
// 上传单个分片
var upResult = await client.UploadPartAsync(new()
{
Bucket = bucket,
Key = key,
PartNumber = partNumber,
UploadId = initResult.UploadId,
Body = new OSS.IO.BoundedStream(file, offset, size)
});
// 保存分片信息,用于后续完成上传
uploadParts.Add(new() { PartNumber = partNumber, ETag = upResult.ETag });
partNumber++;
}
// 按分片号排序
uploadParts.Sort((left, right) => { return (left.PartNumber > right.PartNumber) ? 1 : -1; });
// 完成分片上传
var cmResult = await client.CompleteMultipartUploadAsync(new()
{
Bucket = bucket,
Key = key,
UploadId = initResult.UploadId,
CompleteMultipartUpload = new ()
{
Parts = uploadParts
}
});
// 打印上传结果
Console.WriteLine("MultipartUpload done"); // 提示操作完成
Console.WriteLine($"StatusCode: {cmResult.StatusCode}"); // HTTP状态码
Console.WriteLine($"RequestId: {cmResult.RequestId}"); // RequestId,用于阿里云排查问题
Console.WriteLine("Response Headers:"); // 响应头信息
cmResult.Headers.ToList().ForEach(x => Console.WriteLine(x.Key + " : " + x.Value)); // 遍历并打印所有响应头
相关文档
关于分片上传的完整示例代码,请参见multipartUpload.cs。