Go断点续传上传

更新时间: 2023-08-04 11:22:14

通过断点续传上传的方式将文件上传到OSS前,您可以指定断点记录点。上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分。

注意事项

  • 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见访问域名和数据中心
  • 本文以从环境变量读取访问凭证为例。如何配置访问凭证,请参见Go配置访问凭证

  • 本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient,请参见Go初始化
  • 要断点续传上传,您必须有oss:PutObject权限。具体操作,请参见为RAM用户授权自定义的权限策略

  • 使用断点续传上传时,文件上传的进度信息会记录在Checkpoint文件中,如果上传过程中某一分片上传失败,再次上传时会从Checkpoint文件中记录的点继续上传,从而达到断点续传的效果。上传完成后,Checkpoint文件会被删除。

  • SDK会将上传的状态信息记录在Checkpoint文件中,所以要确保程序对Checkpoint文件有写权限。

  • 请勿修改Checkpoint文件中携带的校验信息。如果Checkpoint文件损坏,则会重新上传所有分片。

  • 如果上传过程中本地文件发生了改变,则会重新上传所有分片。

实现方法

您可以使用Bucket.UploadFile方法实现断点续传上传。可设置的参数及选项如下:

参数

说明

objectKey

上传到OSS的文件名称,等同于objectName

filePath

待上传的本地文件路径。

partSize

上传的分片大小,取值范围为100 KB~5 GB。默认值为100 KB。

options

包含如下可选项:

  • Routines:指定分片上传的并发数。默认值是1,即不使用并发上传。

  • Checkpoint:指定是否开启断点续传上传功能并设置Checkpoint文件。断点续传上传默认处于关闭状态。

    例如:oss.Checkpoint(true, "")表示开启断点续传上传功能,且Checkpoint文件设置为与本地文件同目录下的file.cp,其中file为本地文件名称。您也可以使用oss.Checkpoint(true, "your-cp-file.cp")指定Checkpoint文件。

说明

其它元信息请参见设置文件元信息

示例代码

以下代码用于断点续传上传。

package main

import (
    "fmt"
    "os"
    "github.com/aliyun/aliyun-oss-go-sdk/oss"
)

func main() {
    /// 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
    provider, err := oss.NewEnvironmentVariableCredentialsProvider()
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }

    // 创建OSSClient实例。
    // yourEndpoint填写Bucket对应的Endpoint,以华东1(杭州)为例,填写为https://oss-cn-hangzhou.aliyuncs.com。其它Region请按实际情况填写。
    client, err := oss.New("yourEndpoint", "", "", oss.SetCredentialsProvider(&provider))
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }

    // 填写Bucket名称,例如examplebucket。
    bucket, err := client.Bucket("examplebucket")
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }

    // 设置分片大小为100 KB(100*1024),指定分片上传并发数为3,并开启断点续传上传。
    // yourObjectName填写Object完整路径,完整路径中不能包含Bucket名称,例如exampledir/exampleobject.txt。
    // yourLocalFile填写本地文件的完整路径,例如D:\\localpath\\examplefile.txt。如果未指定本地路径,则默认从示例程序所属项目对应本地路径中上传文件。
    err = bucket.UploadFile("exampledir/exampleobject.txt", "D:\\localpath\\examplefile.txt", 100*1024, oss.Routines(3), oss.Checkpoint(true, ""))
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }
}            

相关文档

关于断点续传上传的完整示例代码,请参见GitHub示例

阿里云首页 对象存储 OSS 相关技术圈