阿里云云备份提供非结构化文件系统类数据同步功能,可以将源端数据源(包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储等)同步至目的端数据源(包括阿里云上)。首次数据同步前,您需要添加源端数据源和目的端数据源。本文介绍如何在云备份控制台添加数据源。
前提条件
已开通阿里云云备份服务。开通云备份不收取任何费用,数据同步功能公测中,不收取任何费用。
已完成授权和安装客户端。更多操作,请参见准备工作。
操作步骤
在左侧导航栏,选择同步>数据同步。
在顶部菜单栏左上角,选择所在地域。
在数据源列表页签,单击添加数据源。
在添加数据源面板,配置如下参数,单击确定。
数据源类型为网络附属存储(NAS)
配置重要参数,描述如下:
参数
描述
数据源类型
数据源来源类型,此处选择网络附属存储(NAS)。
数据源名称
数据源名称。
NAS网络地址
待同步数据的NAS的网络地址。
NAS共享目录
共享相对/根目录的路径,例如/myshare,表示共享/myshare路径,用于后续数据同步。
如何查询NAS共享目录,请参见如何查询NAS共享目录。
仅支持中文、英文大小写,数字以及特殊符号
,-_=/.:\
。说明在大多数情况下,文件存储 NAS的NFS协议文件系统挂载后的根目录为
/
,而SMB协议文件系统挂载后的根目录为/myshare
。然而,请注意,在实际操作中,挂载的目录可能会有所不同。因此,请根据您的实际挂载情况进行操作。
协议类型
支持的NAS协议类型。
NFS:NAS的协议是NFS时,选择该值。
SMB:NAS的协议是SMB时,选择该值。
GlusterFS:NAS的协议是GlusterFS时,选择该值。
重要如果您挂载的是阿里云NAS,请在高级设置里设置参数vers的取值。
必须在客户端机器上安装NFS/SMB/GlusterFS客户端。您可以参考如下命令安装NFS/SMB/GlusterFS客户端。
NFS -CentOS: sudo yum install nfs-utils -Ubuntu: sudo apt-get install nfs-common SMB -Centos: sudo yum install cifs-utils -Ubuntu: sudo apt-get install cifs-utils -openSUSE: sudo zypper install cifs-utils GlusterFS -CentOS: sudo yum install glusterfs-client -Ubuntu: sudo apt-get install glusterfs-client -Reference: https://docs.gluster.org/en/latest/Install-Guide/Overview/
(可选)单击高级设置,然后单击+配置挂载参数。
各挂载参数说明如下表所示。
参数
描述
vers
文件系统版本。
vers=3:使用NFS v3协议挂载文件系统。
vers=4:使用NFS v4协议挂载文件系统。
vers=4.0:使用NFS v4.0协议挂载文件系统。
nolock
是否启用文件锁。
proto
文件系统挂载协议。
rsize
定义数据块的大小,用于客户端与文件系统之间读取数据。
建议值:1048576字节
wsize
定义数据块的大小,用于客户端与文件系统之间写入数据。
建议值:1048576字节
hard
在文件存储NAS暂时不可用的情况下,使用文件系统上某个文件的本地应用程序时会停止并等待至该文件系统恢复在线状态。建议启用该参数。
timeo
指定时长,单位为0.1秒,即NFS客户端在重试向文件系统发送请求之前等待响应的时间。
建议值:600(60秒)
retrans
NFS客户端重试请求的次数。
建议值:2
数据源类型为Hadoop分布式文件系统(HDFS)
配置重要参数,描述如下:
参数
描述
数据源类型
数据源来源类型,此处选择Hadoop分布式文件系统(HDFS)。
数据源名称
用于表示HDFS的数据源名称。您可以根据情况自行定义合适的名称。例如back-end-hdfs。
NameNode 网络地址
用于表示HDFS主服务器的网络地址。
NameNode作为主服务器,管理HDFS文件系统的命名空间和客户端对文件的访问操作。例如网络地址为
47.100.XX.XX
,端口为9000
,则数据源地址为47.100.XX.XX:9000
。NameNode 端口
用于表示HDFS主服务器的端口号。例如
9000
。Secondary NameNode 网络地址
用于表示HDFS的辅助节点网络地址。
辅助节点用于协助主服务器的管理工作。
Secondary NameNode 端口
用于表示HDFS的辅助节点网络端口号。
HDFS用户名
用于表示HDFS的用户名。
说明请确保HDFS用户有足够的权限(推荐用hadoop或hdfs),否则可能导致数据同步时无法读取文件。
数据源类型为阿里云对象存储(OSS)
配置重要参数,描述如下:
参数
描述
数据源类型
数据源来源类型,此处选择阿里云对象存储(OSS)。
数据源名称
用于表示OSS数据源名称。
用HTTPS传输数据
选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。
OSS Bucket
从下拉框中选择待同步的OSS Bucket名称。云备份会自动获取您账号下该地域的所有Bucket列表。
OSS Endpoint
从下拉框中选择OSS Bucket的Endpoint。OSS各地域Endpoint请参见访问域名和数据中心。
如果通过公网进行数据同步,请选择Bucket的公网域名。例如杭州为
oss-cn-hangzhou.aliyuncs.com
。如果通过阿里云VPC进行数据同步,请选择Bucket的内网域名。例如杭州为
oss-cn-hangzhou-internal.aliyuncs.com
。
数据源类型为文件存储CPFS
配置重要参数,描述如下:
参数
描述
数据源名称
用于表示文件存储CPFS的数据源名称。该名称便于您快速识别数据源,您可以根据情况自行定义合适的名称。例如cpfs。
CPFS挂载路径
文件存储CPFS的挂载路径。例如挂载路径为
/cpfs/00d0******1b-000001
。如果您的文件存储CPFS还未添加POSIX挂载点、安装CPFS-POSIX客户端。请先添加挂载点和完成安装。具体操作,请参见快速入门(CPFS-POSIX)。
您可以在CPFS集群管理节点执行以下命令,查询CPFS集群实例状态、查询挂载路径。
查询CPFS集群实例状态
执行命令
mmgetstate -a
返回示例
Node number Node name GPFS state --------------------------------------------------------------- 1 cpfs-00d0******1b-000001-qr-001 active 2 cpfs-00d0******1b-000001-qr-002 active 3 cpfs-00d0******1b-000001-qr-003 active 4 iZbp******haqrZ active
查询CPFS挂载路径
执行命令
df -h
返回示例
Filesystem Size Used Avail Use% Mounted on devtmpfs 3.8G 0 3.8G 0% /dev tmpfs 3.8G 16K 3.8G 1% /dev/shm tmpfs 3.8G 528K 3.8G 1% /run tmpfs 3.8G 0 3.8G 0% /sys/fs/cgroup /dev/vda1 40G 7.3G 33G 19% / tmpfs 763M 0 763M 0% /run/user/0 00d0******1b-000001 3.6T 564M 3.6T 1% /cpfs/00d0******1b-000001
其中,
/cpfs/00d0******1b-000001
为CPFS挂载路径。
数据源类型为OSS协议兼容存储
配置重要参数,描述如下:
参数
描述
数据源类型
数据源来源类型,此处选择OSS协议兼容存储。
数据源名称
用于表示OSS协议兼容存储的数据源名称。您可以根据情况自行定义合适的名称。例如oss-bucket。
用HTTPS传输数据
选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。
OSS Bucket
OSS协议兼容存储的Bucket名称。由存储服务商提供。
OSS Endpoint
由存储服务商提供专有网络地址(Endpoint)。请从OSS协议兼容存储管理员处获取Endpoint。
AccessKey ID
由存储服务商提供访问专有网络的AccessKey ID和AccessKey Secret。请从OSS兼容存储管理员处获取访问密钥,该Key应该具有完全读取OSS协议兼容存储数据的权限。
AccessKey Secret
数据源类型为S3协议兼容存储
配置重要参数,描述如下:
参数
描述
数据源类型
数据源来源类型,此处选择S3协议兼容存储。
数据源名称
用于表示S3的数据源名称。您可以根据情况自行定义合适的名称。例如awss3。
用HTTPS传输数据
选择是否使用HTTPS传输数据。相比HTTP传输,HTTPS传输拥有更高的安全性。
S3存储桶
用于表示S3存储空间名称。
S3 Endpoint
用于表示可用于执行S3对象操作的存储空间的网络终端节点。例如:
s3.us-east-1.amazonaws.com
。请从S3兼容存储管理员处获取Endpoint。Access Key
用于表示以IAM身份访问S3的安全凭证。请从S3兼容存储管理员处获取访问密钥,该Key应该具有完全读取S3数据的权限。
Secret Key
添加完成后,您可以在数据源列表页签看到已添加数据源。
相关操作
对于已经添加的数据源,您还可以在目标数据源的更多中,执行如下操作:
操作 | 描述 |
编辑数据源 | 修改您已创建的数据源配置参数。 |
注销数据源 | 当您确认不需要同步数据时,可以注销数据源。注销后,不再进行数据同步。
|