文档

功能概览

更新时间:

阿里云云备份提供非结构化文件系统类数据同步功能,可以将源端数据源(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步至目的端数据源(包括阿里云上)。本文介绍云备份的数据同步功能概览,包括数据同步的简介、工作原理、操作流程和费用等。

简介

数据同步功能是阿里云云备份提供的一项在线数据同步服务,便于将源端数据(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步到目的端(包括阿里云上)。

image
说明
  • 云备份Windows客户端不支持使用NFS协议挂载NAS。如果源端或者目的端包含NFS协议的NAS,请您在创建同步计划时选择云备份Linux客户端。

  • OSS/S3均不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。

  • 数据同步NAS时,单个文件的文件名最大长度为248个字节。若文件名长度超过此限制,将导致该文件同步失败,任务部分完成。

关键优势

  • 增量同步

    支持增量策略,同步任务可以按照预设时间自动运行,增量同步时仅同步变化的文件,大幅提升同步效率。

  • 操作简单

    云上数据源原生支持,配置简单。

  • 性能卓越

    优化的数据传输链路,相比传统拷贝工具性能大幅提升。

工作原理

  1. 您首先需要在本地一台或多台服务器上安装并激活云备份客户端,然后登录云备份控制台添加数据源(源端数据源和目标端数据源)。

  2. 创建同步计划。在执行同步任务时,云备份客户端组会对指定的文件夹进行扫描,识别需要同步的文件,将增量数据上传至云端,完成同步。

  3. 云备份支持通过公网、VPN或专线同步至阿里云。对于通过公网同步,只需要安装云备份客户端的服务器能够访问公网即可,不需要将该服务器向公网暴露IP。

操作流程

使用云备份控制台进行数据同步的步骤如下所示:

image

说明

同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储数据源前,您需要在数据源所在服务器安装客户端。客户端用于和云备份建立数据和管控服务。

  1. 开通云备份

    开通云备份免费。使用该功能,云备份不收取任何费用。阿里云NAS收取公网读取文件费用和存储文件费用,阿里云OSS收取存储文件费用。计费详情请参见阿里云NAS计费概述阿里云OSS计费概述

  2. 安装客户端

    同步HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储前,您需要在数据源服务器安装客户端。客户端用于和云备份建立通信服务和管控服务。

  3. 添加数据源

    云备份控制台添加HDFS、本地NAS、S3兼容存储、CPFS、对象存储OSS和OSS协议兼容存储数据源。

  4. 创建同步计划

    创建数据同步计划,云备份启动计划并按照计划持续同步数据。

使用限制

  • 云备份Windows客户端不支持使用NFS协议挂载NAS。如果源端或者目的端包含NFS协议的NAS,请您在创建同步计划时选择云备份Linux客户端。

  • OSS/S3均不支持同步归档类型的Object, 仅复制Object的数据(包括软链接Symlink指向的文件),不支持复制Object读写权限等元数据信息。

  • 数据同步NAS时,单个文件的文件名最大长度为248个字节。若文件名长度超过此限制,将导致该文件同步失败,任务部分完成。

增量文件列表(ChangeList)

按照增量文件列表同步数据,不需要进行全量扫描,能够减少扫描文件成本,提升同步效率。创建同步计划,若您选择的数据源为对象存储OSS或者S3兼容存储,则可以使用定制化增量文件列表同步功能。

  1. 增量文件列表是一个包含数据源上需要同步的文件信息的CSV表格。每一行代表一个文件,其中的Name字段表示相对于数据源同步路径的相对路径。例如,如下是一个名称为changeList1.csv的表格,Name字段是必须列,用于记录待同步文件列表。其他列暂不支持。

    ca50bedbf70c6d79a608a766f25b636a.png

    说明
    • Name取值不能重复,否则在数据同步时会相互覆盖。

    • Name不能取值为目录,必须指定为一个文件。

  2. 在创建数据同步计划时,填写增量文件列表所在的目录路径。数据同步任务启动时,会读取源端数据源上该路径下的所有CSV文件,并进行解析,将需要同步的文件传输到目标端。

    说明

    例如,创建OSS到NAS同步计划,可用增量文件列表指定待同步的文件列表。增量文件列表changeList1.csvchangeList2.csv保存于源端/changelist目录下,则增量文件列表路径取值为/changelist

  3. 每个CSV表格内的文件处理完成后,该CSV表格会被移动到更深一层的/Completed目录中,用于记录处理完成。

    处理前CSV表格目录

    处理后CSV表格目录

    /changelist/changeList1.csv
    /changelist/changeList2.csv

    image.png

    /changelist/Completed/changeList1.csv
    /changelist/Completed/changeList2.csv

    image.png

费用

使用该功能,云备份不收取任何费用。

后续步骤

  • 本页导读 (1)
文档反馈