数据同步(公测版本)

更新时间:2025-04-27 06:47:07

本文介绍了阿里云PDS数据同步操作流程。

重要

此功能目前处于公测阶段。如需体验,请提交工单(写明需要使用的地域、企业代码 或 DomainID),并联系我们获取技术支持。

功能概述

功能说明

数据同步功能是阿里云云备份提供的一项在线数据同步服务,便于将源端数据(包括对象存储OSS、 网盘与相册服务PDS)同步到目的端(包括对象存储OSS、 网盘与相册服务PDS)。数据同步功能提供端到端的数据校验能力,但并不能完全保证数据的正确性,相关条款见公测试用条款,请用户对数据进行检查,确保数据迁移的完整性,在您未确认迁移数据完整性之前,切勿将数据源中的原始数据删除/覆盖写,否则数据将无法找回,阿里云不承担相应数据丢失责任。

限制说明

  1. 仅支持Linux客户端,不支持WindowsmacOS客户端;

  2. OSS源不支持同步归档类型的Object,仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息;

  3. PDS源仅同步文件数据,不包含文件的元数据(如用户、群组、权限、自定义标签等);

  4. PDS源同步粒度为PDS空间(Drive),如果涉及多个空间,请在控制台上进行配置多个数据源;

  5. 数据同步过程,源和目的端不能写操作;

  6. 在数据同步时,如果同步目的端为PDS,即使选择增量同步,系统仍将以全量同步的方式执行;

  7. 配额:

    • 单个阿里云账号单个Region数据源个数为50;

    • 单个阿里云账号单个Region同步任务总数为100;

    • 单个阿里云账号单个Region并行同步任务上限为5;

  8. 数据校验:在同步计划中选择数据校验后,会在文件上传到目的端后,立即获取目的端对应路径文件的CRC码,并和源端文件的CRC码进行对比,如果CRC码一致表示校验通过。在文件同步过程中,源端的修改不会同步到目的端,使用者需设置同步计划的执行时间,确保同步过程中,源端不会有写操作;如果无法控制业务的写操作时间,需设置周期同步,写入的数据将会在下一个周期同步到目的端。

准备工作

客户端安装(仅支持 Linux 客户端)

  1. 开通云备份服务。开通云备份不收取任何费用,数据同步功能公测中,不收取任何费用。

  2. 推荐使用RAM账号登录云备份Cloud Backup控制台

  3. 在左侧导航栏,选择同步>数据同步

  4. 在顶部菜单栏左上角,选择所在地域。

  5. 数据同步页面,单击查看客户端,然后单击添加客户端

  6. 执行命令自动激活Linux客户端。

    根据您的网络选择公网、VPN或者专线访问,复制代码后,在客户端上执行标签页中的命令(不是控制台页面上的命令行)即可激活Linux客户端。

    image

    重要

    1. 请将上述界面获取的激活码替换到相应地区的Linux执行命令中进行执行,切勿直接下载上图所示(控制台页面)的安装包进行安装;

    2. 如需在以下Region以外的地域使用,请提交工单(写明需要使用的地域、企业代码domain ID),并联系我们获取技术支持。

    北京
    深圳
    上海
    张家口
    新加坡
    • 使用公网连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-beijing.oss-cn-beijing.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-beijing -metric -disableOptimize -v 2.27.7

    • 使用VPN或专线连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-beijing.oss-cn-beijing-internal.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-beijing -metric -disableOptimize -v 2.27.7

    • 使用公网连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-shenzhen.oss-cn-shenzhen.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-shenzhen -metric -disableOptimize -v 2.27.7

    • 使用VPN或专线连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-shenzhen.oss-cn-shenzhen-internal.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-shenzhen -metric -disableOptimize -v 2.27.7

    • 使用公网连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-shanghai.oss-cn-shanghai.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-shanghai -metric -disableOptimize -v 2.27.7

    • 使用VPN或专线连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-shanghai.oss-cn-shanghai-internal.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-shanghai -metric -disableOptimize -v 2.27.7

    • 使用公网连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-zhangjiakou.oss-cn-zhangjiakou.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-zhangjiakou -metric -disableOptimize -v 2.27.7

    • 使用VPN或专线连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-zhangjiakou.oss-cn-zhangjiakou-internal.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r cn-zhangjiakou -metric -disableOptimize -v 2.27.7

    • 使用公网连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-singapore.oss-ap-southeast-1.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r ap-southeast-1 -metric -disableOptimize -v 2.27.7

    • 使用VPN或专线连接到阿里云

    /bin/bash -c "$(curl -fsSL https://a-hbr-resource-singapore.oss-ap-southeast-1-internal.aliyuncs.com/client/install/hbrclient/install-hbrclient-for-datasync.sh)" -- -t 激活码 -r ap-southeast-1 -metric -disableOptimize -v 2.27.7

添加数据源

  1. 登录云备份Cloud Backup控制台

  2. 在左侧导航栏,选择同步>数据同步

  3. 在顶部菜单栏左上角,选择所在地域。

  4. 数据源列表页签,单击添加数据源

  5. 添加数据源面板中,PDS数据源配置如下参数,单击确定添加完成后,您可以在数据源列表页签看到已添加数据源。

    数据源类型阿里云对象存储(OSS)

    配置重要参数,描述如下:

    参数

    描述

    数据源类型

    数据源来源类型,此处选择阿里云对象存储(OSS)

    数据源名称

    用于表示OSS数据源名称。

    HTTPS传输数据

    选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。

    OSS Bucket

    从下拉框中选择待同步的OSS Bucket名称。云备份会自动获取您账号下该地域的所有Bucket列表。

    OSS Endpoint

    从下拉框中选择OSS BucketEndpoint。OSS各地域Endpoint请参见OSS地域和访问域名

    • 如果通过公网进行数据同步,请选择Bucket的公网域名。例如杭州为oss-cn-hangzhou.aliyuncs.com

    • 如果通过阿里云VPC进行数据同步,请选择Bucket的内网域名。例如杭州为oss-cn-hangzhou-internal.aliyuncs.com

    数据源类型网盘与相册服务(PDS)

    参数

    描述

    数据源类型

    数据源来源类型,此处选择网盘与相册服务(PDS)

    数据源名称

    用于表示网盘与相册PDS的数据源名称。该名称便于您快速识别数据源,您可以根据情况自行定义合适的名称。例如pds-drive1-vpc。

    PDS Domain ID

    DomainID在企业版中也称企业代码,缺省会自动列举出当前RegionDomain列表,请根据需求自行选择。

    PDS Endpoint

    当前选择了对应的DomainID后,缺省会自动关联选择Domain的接入网络,包含VPC和公网。切记安装客户端的ECS选择相同Region,缺省选择VPC网络。

    PDS 云盘

    PDS的空间,请从下拉列表中,依据空间的名字和空间类型(团队空间、个人空间)提示,选择对应的Drive。

    当需要同步当前云备份Cloud Backup以外的OSSPDS时,如OSSPDS都在杭州Region,选择数据最近的云备份Region(上海Region),其PDS数据源相关信息需手动填写,具体规则如下:

    • PDS Domain ID:开发者版填写domain ID,企业版填写企业代码

    • PDS Endpoint 规则:

    • PDS 云盘:填写PDS Drive ID,您可以登录网盘查看,具体操作请参见获取Drive Id

另外,需确保云备份客户端使用公网(在数据源列表页签,找到查看客户端组并点击, 在右侧弹窗的窗口中选择对应的客户端组,并点击编辑, 在客户端列表中,对每个客户端点击设置, 需选择公网, 如下图)。image

创建同步计划

  1. 登录云备份Cloud Backup控制台

  2. 在左侧导航栏,选择同步>数据同步

  3. 在顶部菜单栏左上角,选择所在地域。

  4. 数据源列表页签,找到待同步的目标数据源,在其操作列,单击同步至其他数据源

  5. 创建同步计划面板,配置如下内容。

    1. 关联客户端组,然后单击下一步

      客户端用于执行您创建的同步计划。该客户端可以安装在源端机器上,也可以安装在目的端机器上。

      客户端组可以添加多个客户端,用于并发执行一个同步任务。

      • 新建客户端组:客户端组选择新建客户端组,然后自定义客户端组名称,并选中添加到客户端组的客户端。

      • 选择已有客户端组:选择已有客户端组。

      添加完成后,您还可以根据需要,在查看客户端组面板,修改或删除此客户端组包含的客户端。

    2. 配置同步计划,然后单击确定

同步成功

  • 当达到同步执行时间时,云备份就会启动执行同步任务。当同步任务状态完成时,表示同步完成。

    image.png

  • 执行完成的任务,系统会生成同步成功文件列表。您可以下载同步任务报表,分析同步完成情况。

    path	        type	size	reason	mtime	        checksum	                verified	metaOnly	hardlinks	inode	deviceID
    test1.pdf	file	365934		1.71748E+18	crc64:12677785020004273628	TRUE				
    test2.pdf	file	254230		1.71748E+18	crc64:13165410458929610029	TRUE				
    test3.pdf	file	302860		1.71748E+18	crc64:7755652143268969263	TRUE	

联系我们

如果您在使用过程中遇到任何问题,请联系我们

  • 本页导读 (1)
  • 功能概述
  • 功能说明
  • 限制说明
  • 准备工作
  • 客户端安装(仅支持 Linux 客户端)
  • 添加数据源
  • 创建同步计划
  • 同步成功
  • 联系我们
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等