如果您的数据存储在HDFS中,需要您提供计算节点(配置不低于16核64 GB),通过将HDFS和闪电立方Mini设备都挂载至计算节点上进行数据迁移。本文介绍挂载HDFS和闪电立方Mini设备至计算节点的操作步骤。
前提条件
已准备计算节点。
在挂载闪电立方Mini设备至计算节点前,请先确认计算节点,已经通过网线直连方式或交换机方式,连接到闪电立方Mini设备的网口或光口上,并确认网线、光纤线和光模块连接正常,端口连接指示灯正常。
步骤一:配置业务IP地址
登录硬件控制台。具体操作,请参见安装硬件。
选择控制台>网络与虚拟交换机>网络适配器。
选择状态为已连接的适配卡,单击编辑图标。
在IPv4中,选择使用固定IP地址,并根据您的实际网络环境配置固定IP地址、子网掩码、默认网关,单击应用。
说明请记录此IP地址,在挂载闪电立方至计算节点时,需配置此IP地址。
步骤二:挂载HDFS至计算节点
您可以参考以下方法使用FUSE挂载HDFS至计算节点。
该方法仅供您参考,如果挂载失败,请参见Configuring Mountable HDFS。
部署CDH并下载hadoop-hdfs-fuse包。
登录计算节点(Linux系统)。
执行以下命令安装hadoop-hdfs-fuse。
与Red hat兼容的系统
sudo yum install hadoop-hdfs-fuse
Ubuntu系统
sudo apt-get install hadoop-hdfs-fuse
SLES系统
sudo zypper install hadoop-hdfs-fuse
执行以下命令设置并测试挂载点。
非HA安装
mkdir -p <mount_point>
hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port> <mount_point>
其中
namenode_port
为NameNode的RPC端口。HA安装
mkdir -p <mount_point>
hadoop-fuse-dfs dfs://<nameservice_id> <mount_point>
其中
nameservice_id
为fs.defaultFS
的值。
按下Ctrl+C组合键结束
fuse-dfs
程序。执行以下命令,清理测试。
umount <mount_point>
打开/etc/fstab,在底部添加如下行。
hadoop-fuse-dfs#dfs://<name_node_hostname>:<namenode_port> <mount_point> fuse allow_other,usetrash,rw 2 0
例如:hadoop-fuse-dfs#dfs://localhost:8020 /mnt/hdfs fuse allow_other,usetrash,rw 2 0
在HA部署中,使用HDFS命名服务,即“hdfs-site.xml”中“dfs.nameservices”的值而不是NameNode URI。
执行以下命令,测试以确保系统正常运行。
mount <mount_point>
系统配置为允许使用
ls
命令,并可以像使用普通系统磁盘一样使用该挂载点。
步骤三:挂载闪电立方至计算节点
登录计算节点(Linux系统)。
执行以下命令创建本地目录,作为闪电立方的挂载目录。
mkdir /mnt/cube
执行以下命令查看闪电立方的共享目录。
showmount -e 172.16.0.1
172.16.0.1
为步骤一中配置的业务IP地址,请根据实际情况替换。如果回显信息中存在filedata目录,则表明闪电立方共享目录可以被挂载。
执行以下命令挂载闪电立方Mini设备至计算节点。
mount 172.16.0.1:/filedata /mnt/cube
执行以下命令查看挂载结果。
df -h
如果回显包含如下类似信息,说明挂载成功。
后续步骤
挂载HDFS和闪电立方Mini设备至计算节点后,需要通过闪电立方II、III型的迁移方式完成迁移任务。具体操作,请参见创建及执行数据迁移任务。
- 本页导读 (1)