本文针对大文件的传输场景,介绍如何使用Go SDK V2新增的Copier模块进行文件拷贝。
注意事项
本文示例代码以华东1(杭州)的地域ID
cn-hangzhou
为例,默认使用外网Endpoint,如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见OSS地域和访问域名。本文以从环境变量读取访问凭证为例。如何配置访问凭证,请参见配置访问凭证。
要进行拷贝文件,您必须拥有源文件的读权限及目标Bucket的读写权限。
不支持跨地域拷贝。例如不能将华东1(杭州)地域存储空间中的文件拷贝到华北1(青岛)地域。
拷贝文件时,您需要确保源Bucket和目标Bucket均未设置合规保留策略,否则报错The object you specified is immutable.。
方法定义
拷贝管理器介绍
当需要将对象从存储空间复制到另外一个存储空间,或者修改对象的属性时,您可以通过拷贝接口或者分片拷贝接口来完成这个操作。这两个接口有其适用的场景,例如:
拷贝接口(CopyObject)只适合拷贝 5GiB 以下的对象;
分片拷贝接口(UploadPartCopy)支持拷贝大于5GiB 的对象,但不支持元数据指令(x-oss-metadata-directive)和标签指令(x-oss-tagging-directive)参数,拷贝时需要主动设置需要复制的元数据和标签。
Go SDK V2新增拷贝管理器Copier提供了通用的拷贝接口,隐藏了接口的差异和实现细节,可根据拷贝的请求参数自动选择合适的接口复制对象。Copier的常用方法定义如下:
type Copier struct {
...
}
// 用于创建新的拷贝管理器
func (c *Client) NewCopier(optFns ...func(*CopierOptions)) *Copier
// // 用于拷贝文件
func (c *Copier) Copy(ctx context.Context, request *CopyObjectRequest, optFns ...func(*CopierOptions)) (*CopyResult, error)
请求参数列表
参数名 | 类型 | 说明 |
ctx | context.Context | 请求的上下文,可以用来设置请求的总时限 |
request | *CopyObjectRequest | 设置具体接口的请求参数,具体请参见CopyObjectRequest |
optFns | ...func(*CopierOptions) | (可选)配置选项,具体请参见CopierOptions |
其中,CopyObjectRequest的常用参数列举如下:
参数名 | 类型 | 说明 |
Bucket | *string | 指定目标存储空间名称 |
Key | *string | 指定目标对象名称 |
SourceBucket | *string | 指定源存储空间名称 |
SourceKey | *string | 指定源对象名称 |
ForbidOverwrite | *string | 指定CopyObject操作时是否覆盖同名目标Object |
Tagging | *string | 指定Object的对象标签,可同时设置多个标签,例如TagA=A&TagB=B。 |
TaggingDirective | *string | 指定如何设置目标Object的对象标签。取值如下:
|
CopierOptions选项的常用参数列举如下:
参数名 | 类型 | 说明 |
PartSize | int64 | 指定分片大小,默认值为 64MiB |
ParallelNum | int | 指定上传任务的并发数,默认值为 3。针对的是单次调用的并发限制,而不是全局的并发限制 |
MultipartCopyThreshold | int64 | 使用分片拷贝的阈值,默认值为 200MiB |
LeavePartsOnError | bool | 当拷贝失败时,是否保留已拷贝的分片,默认不保留 |
DisableShallowCopy | bool | 不使用浅拷贝行为,默认使用 |
返回值列表
返回值名 | 类型 | 说明 |
result | *CopyResult | 接口返回值,当 err 为nil 时有效,具体请参见CopyResult |
err | error | 请求的状态,当请求失败时,err 不为 nil |
示例代码
您可以使用以下代码将对象从源存储空间拷贝到目标存储空间并修改对象的属性。
package main
import (
"context"
"flag"
"log"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)
// 定义全局变量
var (
region string // 存储区域
srcBucketName string // 源存储空间名称
srcObjectName string // 源对象名称
destBucketName string // 目标存储空间名称
destObjectName string // 目标对象名称
)
// init函数用于初始化命令行参数
func init() {
flag.StringVar(®ion, "region", "", "The region in which the bucket is located.")
flag.StringVar(&srcBucketName, "src-bucket", "", "The name of the source bucket.")
flag.StringVar(&srcObjectName, "src-object", "", "The name of the source object.")
flag.StringVar(&destBucketName, "dest-bucket", "", "The name of the destination bucket.")
flag.StringVar(&destObjectName, "dest-object", "", "The name of the destination object.")
}
func main() {
// 解析命令行参数
flag.Parse()
// 检查源存储空间名称是否为空
if len(srcBucketName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, bucket name required")
}
// 检查存储区域是否为空
if len(region) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, region required")
}
// 如果目标存储空间名称未指定,则使用源存储空间名称
if len(destBucketName) == 0 {
destBucketName = srcBucketName
}
// 检查源对象名称是否为空
if len(srcObjectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, src object name required")
}
// 检查目标对象名称是否为空
if len(destObjectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, destination object name required")
}
// 配置OSS客户端
cfg := oss.LoadDefaultConfig().
WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
WithRegion(region)
// 创建OSS客户端
client := oss.NewClient(cfg)
// 创建文件拷贝器
c := client.NewCopier()
// 构建拷贝对象的请求
request := &oss.CopyObjectRequest{
Bucket: oss.Ptr(destBucketName), // 目标存储空间名称
Key: oss.Ptr(destObjectName), // 目标对象名称
SourceKey: oss.Ptr(srcObjectName), // 源对象名称
SourceBucket: oss.Ptr(srcBucketName), // 源存储空间名称
StorageClass: oss.StorageClassStandard, // 指定存储类型为标准类型
MetadataDirective: oss.Ptr("Replace"), // 不拷贝源对象元数据
TaggingDirective: oss.Ptr("Replace"), // 不拷贝源对象标签
}
// 执行拷贝对象的操作
result, err := c.Copy(context.TODO(), request)
if err != nil {
log.Fatalf("failed to copy object %v", err) // 如果拷贝失败,记录错误并退出
}
// 打印拷贝对象的结果
log.Printf("copy object result:%#v\n", result)
}