跨账号跨区域复制

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

跨账号跨区域复制是指将账号A某个地域下源存储空间(Bucket)的文件(Object)的创建、更新和删除等操作自动、异步(近实时)地复制到账号B另一个地域下的目标Bucket。本文介绍如何进行跨账号跨区域复制。

前提条件

  • 已在账号A下的某个地域创建Bucket A作为跨区域复制的源Bucket,并记录账号A的UID、Bucket A的名称及所在地域。

  • 已在账号B下的另一个地域创建Bucket B作为跨区域复制的目标Bucket,并记录账号B的UID、Bucket B的名称及所在地域。

角色授权

跨账号复制任务涉及两个不同账号的Bucket,您需要按照以下说明完成RAM角色所需的信任策略和最小权限策略。

  1. 通过账号A完成以下操作。

    1. 创建普通服务角色。

      重要

      您可以选择通过RAM用户创建角色,RAM用户必须拥有以下权限:ram:CreateRoleram:GetRoleram:ListPoliciesForRoleram:AttachPolicyToRole。但是考虑到授予RAM用户ram:CreateRoleram:GetRole等角色相关的权限风险较大,您可以通过RAM用户关联的阿里云账号创建RAM角色并为相应的RAM角色完成授权。授权完成后,RAM用户可以直接复用阿里云账号创建的RAM角色。

      创建角色过程中,需选择可信实体类型为阿里云服务,角色类型选择普通服务角色,受信服务选择对象存储。具体步骤,请参见创建普通服务角色

      说明

      角色创建成功后,请记录基本信息区域的RAM角色ARN,以便后续添加权限时使用。

    2. 为角色授予源Bucket执行跨区域复制的权限。

      您可以选择以下任意方式为角色授权。

      为RAM角色授予系统策略

      警告

      您可以选择为RAM角色授予系统策略AliyunOSSFullAccessAliyunOSSFullAccess默认拥有当前账号下所有Bucket的所有操作权限,请谨慎使用。

      为RAM角色授予自定义策略

      通过RAM Policy的方式对RAM角色授予源Bucket(src-bucket)复制所需的最小权限。

      说明

      实际使用时,请相应替换源Bucket名称。

      {
         "Version":"1",
         "Statement":[
            {
               "Effect":"Allow",
               "Action":[
                  "oss:ReplicateList",
                  "oss:ReplicateGet"
               ],
               "Resource":[
                  "acs:oss:*:*:src-bucket",          	
                  "acs:oss:*:*:src-bucket/*"
               ]
            }
         ]
      }

      如果您希望将KMS加密的Object复制到目标Bucket,您还需要为角色授予AliyunKMSFullAccess系统策略。具体步骤,请参见为RAM角色授权

  2. 通过账号B授予角色在目标Bucket接收复制对象的权限。

    (推荐)方式一:按图形策略添加

    1. 登录OSS管理控制台

    2. 在左侧导航栏,单击Bucket 列表,然后单击目标bucket名称dest-bucket

    3. 在左侧导航栏,选择权限控制 > Bucket 授权策略

    4. Bucket 授权策略页面的按图形策略添加页签,单击接收复制对象

    5. 接收复制对象面板,UID及RAM角色获取方式选中从源端复制RAM角色ARN获取源端复制RAM角色ARN选择步骤1创建的角色ARN。

    6. 单击生成 Policy

    方式二:按语法策略添加

    1. 在左侧导航栏,选择权限控制>Bucket 授权策略

    2. Bucket 授权策略页面的按语法策略添加页签,单击编辑

    3. 在语法策略输入框中,输入以下Bucket Policy。

      重要
      • 通过Bucket Policy按语法策略的方式进行授权时,新添加的策略会覆盖已有的策略,请确保新添加策略包含已有策略的内容,否则可能导致关联已有策略的操作失败。

      • 实际使用时,请相应替换自定义角色名称(如果自定义角色名称包含大写字母,需转换为对应的小写字母。例如已创建的角色名称为AliyunOssDrsRole,您需要转换为aliyunossdrsrole)、目标Bucket名称(dest-bucket)、源Bucket所属账号UID(137918634953xxxx)以及目标Bucket所属账号UID(111933544165xxxx)。

      {
         "Version":"1",
         "Statement":[
            {
              "Effect":"Allow",
              "Action":[
                  "oss:ReplicateList",
                  "oss:ReplicateGet",
                  "oss:ReplicatePut",
                  "oss:ReplicateDelete"			
               ],
              "Principal": [
                  "arn:sts::137918634953xxxx:assumed-role/aliyunossdrsrole/*"		 
      		 ],
               "Resource":[
                  "acs:oss:*:111933544165xxxx:dest-bucket",          	
                  "acs:oss:*:111933544165xxxx:dest-bucket/*"
               ]
            }
         ]
      }
    4. 单击保存

复制KMS加密的Object

说明

支持复制KMS加密的Object到以下目标地域:华东1(杭州)、华东2(上海)、华南1(深圳)、华南2(河源)、华南3(广州)、华北1(青岛)、华北2(北京)、华北3(张家口)、华北5(呼和浩特)、华北6(乌兰察布)、西南1(成都)、华东2(上海金融云)、中国香港、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、菲律宾(马尼拉)、泰国(曼谷)、日本(东京)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、英国(伦敦)。

如果您希望将账号A下源Bucket中KMS加密的Object复制到账号B下的目标Bucket,您需要使用目标Bucket所属账号B执行以下步骤。

  1. 登录密钥管理服务控制台的实例管理页面,在与目标Bucket相同的地域购买并启用KMS实例。购买KMS实例时,确保访问管理数量大于等于2,其他参数保留默认配置。具体步骤,请参见购买和启用KMS实例

  2. 在KMS实例下创建密钥。密钥类型限制为非默认密钥(建议软件密钥)。具体步骤,请参见创建软件密钥

    说明

    密钥创建成功后,请记录基本信息区域的密钥ARN,以便后续创建复制规则时使用。

  3. 为创建的密钥设置密钥策略。设置密钥策略时,选择其他账号使用者,并将其他账号使用者指定为上述步骤创建的角色ARN。具体步骤,请参见设置密钥策略

    重要

    跨账号复制KMS加密数据要求密钥策略至少包含解密(kms:Decrypt)和生成数据密钥(kms:GenerateDataKey)的权限。通过控制台设置密钥策略时,默认包含这些权限。如果通过OpenAPI设置自定义密钥策略,需要确保至少包含kms:Decryptkms:GenerateDataKey权限。

操作步骤

使用OSS控制台

通过账号A为源Bucket创建跨区域复制规则。

  1. 登录OSS管理控制台

  2. 单击Bucket 列表,然后单击源Bucket名称。

  3. 在左侧导航栏,选择数据管理 > 跨区域复制

  4. 跨区域复制页签,单击跨区域复制

  5. 跨区域复制对话框,按以下说明配置各项参数。

    区域

    参数

    说明

    设置目标Bucket

    源Bucket

    显示源Bucket所在地域及名称。

    目标Bucket

    选中在另一个账号中指定一个Bucket,然后下拉选择目标Bucket所在地域,并手动输入目标Bucket名称。

    设置复制策略

    数据复制对象

    选择需要复制的源数据。

    • 全部文件进行同步:将该Bucket内所有的Object复制到目标存储空间。

    • 指定文件名前缀进行同步:将该Bucket内指定前缀的Object复制到目标Bucket。最多可以添加10个前缀。

    数据复制策略

    选择数据复制的方式。

    说明

    创建数据复制规则后,源Bucket内通过生命周期规则或者CopyObject修改存储类型后引起的存储类型变更、以及该Bucket内Object的最后访问时间(x-oss-last-access-time)属性,均不会同步到目标Bucket。

    • 增/改 同步(适用于数据容灾的场景):将源Bucket内Object新增和更新操作复制到目标Bucket。

      重要

      该策略下仅新增和更新的Object会被复制,而删除操作不会影响目标Bucket。通过这种方式,可以有效防止因源Bucket手动删除、通过生命周期自动删除的行为导致目标Bucket数据丢失的问题。

    • 增/删/改 同步(适用于共享和访问同一数据集的场景:将源Bucket内Object的新增、更新、删除操作复制到目标Bucket。

      重要

      该策略下新增、更新和删除Object都会被复制到目标Bucket。通过这种方式,确保了数据的一致性,适用于需要共享和访问同一数据集的多用户或应用程序环境。但是配置该策略后,当手动删除或者通过生命周期自动删除源Bucket内的Object时,目标Bucket也会删除对应的Object,且Object删除后无法恢复。

    如果某个Object是通过分片上传的方式上传至源Bucket,则每个分片的上传操作都会复制至目标Bucket。最终,对所有分片执行CompleteMultipartUpload后生成的Object,也会被复制到目标Bucket。

    有关跨区域复制结合版本控制的复制行为说明,请参见数据复制结合版本控制

    复制历史数据

    选择是否复制跨区域复制规则生效前源Bucket中已有的历史数据。

    • 复制:将历史数据复制至目标Bucket。

      重要

      复制历史数据时,从源Bucket复制的Object可能会覆盖目标Bucket中同名的Object。为避免这部分文件丢失,建议您对源Bucket和目标Bucket开启版本控制。

    • 不复制:仅复制跨区域复制规则生效后上传或更新的Object。

    KMS加密目标对象

    选择是否将源Bucket内KMS加密的Object复制到目标Bucket。

    • 复制:在源Object或者目标Bucket使用了KMS托管密钥加密方式(即SSE-KMS,指定CMK ID)的情况下,要将Object复制到目标Bucket。选择复制选项后,您还需要指定KMS密钥。

      说明

      您可以通过HeadObjectGetBucketEncryption分别查询源Object和目标Bucket的加密状态。

    • 不复制:不复制KMS加密的Object到目标Bucket。

    使用的KMS密钥

    填写KMS密钥ARN。如何获取KMS密钥ARN,请参见在KMS实例下创建软件密钥

    授权角色

    下拉选择步骤1创建的角色。

    加速类型

    仅当跨区域复制涉及的两个Bucket分别属于中国内地与非中国内地地域时,加速类型支持传输加速

    开启传输加速功能,OSS还会额外收取传输加速费用。计费方式,请参见传输加速费用

    数据复制时间控制(RTC)

    说明
    • 仅支持华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北 3(张家口)、华南1(深圳)各地域之间的跨区域复制任务开启RTC。

    • 仅支持美国(硅谷)、美国(弗吉尼亚)地域之间的跨区域复制任务开启RTC。

    开启RTC后,OSS会在几秒内复制您上传到OSS的大多数Object,并在10分钟内复制99.99%的Object。关于RTC的更多信息,请参见使用数据复制时间控制(RTC)。开启RTC,将收取额外费用。更多信息,请参见跨区域复制RTC费用

  6. 单击确定,然后在弹出的对话框,单击确认开启

    • 当跨区域复制规则创建完成后,不允许对此规则进行编辑或删除。

    • 复制任务会在跨区域复制规则配置完成的3~5分钟后启动。您可以在源Bucket的跨区域复制页签,查看复制进度。

    • 由于Bucket间的跨区域复制采用异步(近实时)复制,数据复制到目标Bucket需要的时间取决于数据的大小,通常几分钟到几小时不等。

使用阿里云SDK

仅支持通过Java、Python以及Go SDK进行跨账号跨区域复制。

Java

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.common.auth.*;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.AddBucketReplicationRequest;

public class Demo {

    public static void main(String[] args) throws Exception {
        // Endpoint以华东1(杭州)为例,其它Region请按实际情况填写。
        String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
        // 强烈建议不要把访问凭证保存到工程代码里,否则可能导致访问凭证泄露,威胁您账号下所有资源的安全。本代码示例以从环境变量中获取访问凭证为例。运行本代码示例之前,请先配置环境变量。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 填写源Bucket名称,例如src-bucket。
        String bucketName = "src-bucket";
        // 指定数据要复制到的目标Bucket。目标Bucket与源Bucket必须属于不同账号。
        String targetBucketName = "dest-bucket";
        // 指定目标Bucket所在地域。目标Bucket与源Bucket必须处于不同地域。
        String targetBucketLocation = "oss-cn-shanghai";

        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);

        try {
            AddBucketReplicationRequest request = new AddBucketReplicationRequest(bucketName);
            request.setTargetBucketName(targetBucketName);
            request.setTargetBucketLocation(targetBucketLocation);
            // 默认复制历史数据。此处设置为false,表示禁止复制历史数据。
            request.setEnableHistoricalObjectReplication(false);
            // 指定授权OSS进行数据复制的角色名称,且该角色必须已被授予源Bucket执行跨区域复制以及目标Bucket接收复制对象的权限。
            request.setSyncRole("yourRole");           
            //List prefixes = new ArrayList();
            //prefixes.add("image/");
            //prefixes.add("video");
            //prefixes.add("a");
            //prefixes.add("A");
            // 指定待复制Object的前缀Prefix。指定Prefix后,只有匹配该Prefix的Object才会复制到目标Bucket。
            //request.setObjectPrefixList(prefixes);
            //List actions = new ArrayList();
            //actions.add(AddBucketReplicationRequest.ReplicationAction.PUT);
            // 将源Bucket内Object的新增、更新操作复制到目标Bucket。
            //request.setReplicationActionList(actions);
            ossClient.addBucketReplication(request);
        } catch (OSSException oe) {
            System.out.println("Caught an OSSException, which means your request made it to OSS, "
                    + "but was rejected with an error response for some reason.");
            System.out.println("Error Message:" + oe.getErrorMessage());
            System.out.println("Error Code:" + oe.getErrorCode());
            System.out.println("Request ID:" + oe.getRequestId());
            System.out.println("Host ID:" + oe.getHostId());
        } catch (ClientException ce) {
            System.out.println("Caught an ClientException, which means the client encountered "
                    + "a serious internal problem while trying to communicate with OSS, "
                    + "such as not being able to access the network.");
            System.out.println("Error Message:" + ce.getMessage());
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}        

Python

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
from oss2.models import ReplicationRule
# 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
# 填写源Bucket所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
# 填写源Bucket名称,例如src-bucket。
bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com', 'src-bucket')
replica_config = ReplicationRule(
    # 指定数据要复制到的目标Bucket。目标Bucket与源Bucket必须属于不同账号。
    target_bucket_name='dest-bucket',
    # 指定目标Bucket所在地域。目标Bucket与源Bucket必须处于不同地域。
    target_bucket_location='oss-cn-shanghai',
    # 指定授权OSS进行数据复制的角色名称,且该角色必须已被授予源Bucket执行跨区域复制以及目标Bucket接收复制对象的权限。
    sync_role_name='roleNameTest',
)

# 指定待复制Object的前缀Prefix。指定Prefix后,只有匹配该Prefix的Object才会复制到目标Bucket。
# prefix_list = ['prefix1', 'prefix2']
# 设置数据复制规则。
# replica_config = ReplicationRule(
     # prefix_list=prefix_list,
     # 将源Bucket内Object的新增、更新操作复制到目标Bucket。
     # action_list=[ReplicationRule.P],
     # 指定数据要复制到的目标Bucket。目标Bucket与源Bucket必须属于不同账号。
     # target_bucket_name='dest-bucket',
     # 指定目标Bucket所在地域。目标Bucket与源Bucket必须处于不同地域。
     # target_bucket_location='yourTargetBucketLocation',
     # 默认复制历史数据。此处设置为False,表示禁止复制历史数据。
     # is_enable_historical_object_replication=False,
     # 指定数据复制时使用的数据传输链路。
     # target_transfer_type='oss_acc',    
  #)

# 开启数据复制。
bucket.put_bucket_replication(replica_config)

Go

package main

import (
    "encoding/xml"
    "fmt"
    "github.com/aliyun/aliyun-oss-go-sdk/oss"
    "os"
)

func HandleError(err error) {
    fmt.Println("Error:", err)
    os.Exit(-1)
}

// 开启数据复制。
func main() {
    // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
    provider, err := oss.NewEnvironmentVariableCredentialsProvider()
    if err != nil {
    fmt.Println("Error:", err)
    os.Exit(-1)
    }
    // 创建OSSClient实例。
    // yourEndpoint填写Bucket对应的Endpoint,以华东1(杭州)为例,填写为https://oss-cn-hangzhou.aliyuncs.com。其它Region请按实际情况填写。
    client, err := oss.New("yourEndpoint", "", "", oss.SetCredentialsProvider(&provider))
    if err != nil {
    fmt.Println("Error:", err)
    os.Exit(-1)
    }
    // 指定源Bucket名称。
    srcbucketName := "yourSrcBucket"
    // 指定数据要复制到的目标Bucket。目标Bucket与源Bucket必须属于不同账号。
    destBucketName := "yourDestBucket"
    // 指定待复制Object的前缀prefix_1和prefix_2。指定Prefix后,只有匹配该Prefix的Object才会复制到目标Bucket。
    // 如果您需要将源Bucket中的所有Object复制到目标Bucket,则无需设置Prefix。
    prefix1 := "prefix_1"
    prefix2 := "prefix_2"    
    prefixSet := oss.ReplicationRulePrefix{Prefix: []*string{&prefix1, &prefix2}}
    // 在配置跨区域复制规则时,开启数据复制时间控制(RTC)功能。
    enabled := "enabled"
    reqReplication := oss.PutBucketReplication{
    Rule: []oss.ReplicationRule{
    {
    PrefixSet: &prefixSet,
    //将源Bucket内Object的新增、更新操作复制到目标Bucket。
    Action: "PUT",
    RTC:    &enabled,
    Destination: &oss.ReplicationRuleDestination{
    Bucket: destBucketName,
    // 指定目标Bucket所在地域。源Bucket与目标Bucket必须处于不同的地域。    
    Location: "oss-cn-hangzhou",
    // 指定数据复制时使用的数据传输链路。此处设置为oss_acc,表示使用了传输加速链路。
    TransferType: "oss_acc",
    },
    // 默认复制历史数据。此处设置为disabled,表示禁止复制历史数据。
    HistoricalObjectReplication: "disabled",
    // 指定授权OSS进行数据复制的角色名称,且该角色必须已被授予源Bucket执行跨区域复制以及目标Bucket接收复制对象的权限。
    SyncRole:                    "yourRole",    
    },
    },
    }

    xmlBody, err := xml.Marshal(reqReplication)
    if err != nil {
    HandleError(err)
    }
    err = client.PutBucketReplication(srcbucketName, string(xmlBody))

    if err != nil {
    HandleError(err)
    }

    fmt.Println("Put Bucket Replication Success!")
}

使用命令行工具ossutil

关于使用ossutil开启跨账号跨区域复制的具体步骤,请参见replication(数据复制)

使用REST API

如果您的程序自定义要求较高,您可以直接发起REST API请求。直接发起REST API请求需要手动编写代码计算签名。更多信息,请参见PutBucketReplication

相关文档