文档

Go断点续传下载

更新时间:

在下载OSS大文件(超过5 GB)到本地的过程中,如果出现网络中断、程序异常退出等问题导致文件下载失败,甚至重试多次仍无法完成下载,您需要使用断点续传下载的方式下载大文件。断点续传下载将需要下载的大文件分成多个较小的分片并发下载,加速下载完成时间。如果下载过程中,某一分片下载失败,再次下载时会从Checkpoint文件记录的断点继续下载,无需重新下载所有分片。下载完成后,所有分片将合并成完整的文件。

注意事项

  • 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见访问域名和数据中心

  • 本文以从环境变量读取访问凭证为例。如何配置访问凭证,请参见配置访问凭证

  • 本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient,请参见初始化

  • 要断点续传下载,您必须有oss:GetObject权限。具体操作,请参见为RAM用户授权自定义的权限策略

  • 使用断点续传下载时,文件下载的进度信息会记录在Checkpoint文件中,如果下载过程中某一分片下载失败,再次下载时会从Checkpoint文件中记录的点继续下载,从而达到断点续传的效果。下载完成后,Checkpoint文件会被删除。

  • SDK会将下载的状态信息记录在Checkpoint文件中,所以要确保程序对Checkpoint文件有写权限。

  • 请勿修改Checkpoint文件中携带的校验信息。如果Checkpoint文件损坏,则会重新下载所有分片。

  • 如果下载过程中文件的ETag发生变化、Part丢失或被修改,则重新下载文件。

示例代码

package main

import (
    "fmt"
    "os"
    "github.com/aliyun/aliyun-oss-go-sdk/oss"
)

func main() {
    /// 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
    provider, err := oss.NewEnvironmentVariableCredentialsProvider()
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }

    // 创建OSSClient实例。
    // yourEndpoint填写Bucket对应的Endpoint,以华东1(杭州)为例,填写为https://oss-cn-hangzhou.aliyuncs.com。其它Region请按实际情况填写。
    client, err := oss.New("https://oss-cn-hangzhou.aliyuncs.com", "", "", oss.SetCredentialsProvider(&provider))
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }

    // 填写Bucket名称,例如examplebucket。
    bucket, err := client.Bucket("examplebucket")
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }
    
    // yourObjectName填写Object完整路径,完整路径中不能包含Bucket名称,例如exampledir/exampleobject.txt。
    // yourLocalFile填写本地文件的完整路径,例如D:\\localpath\\examplefile.txt。如果未指定本地路径,则下载后的文件默认保存到示例程序所属项目对应本地路径中。
    // 设置分片大小为100 KB(100*1024),并指定分片下载并发数为3。
    // oss.Checkpoint(true, "")表示开启断点续传下载功能。默认情况下,记录断点的Checkpoint文件与下载到本地的文件在同一目录,名称与本地文件名相同,后缀为.temp的文件。您也可以使用oss.Checkpoint(true, "your-cp-file.temp")指定Checkpoint文件。
    err = bucket.DownloadFile("file.zip", "D:\\file.zip", 100*1024, oss.Routines(3), oss.Checkpoint(true, ""))
    if err != nil {
        fmt.Println("Error:", err)
        os.Exit(-1)
    }
}      

相关文档

  • 关于断点续传下载的完整示例代码,请参见GitHub示例

  • 关于断点续传下载的API接口说明,请参见GetObject

  • 本页导读 (1)