HDFS

如果您的数据存储在HDFS中,需将HDFS和闪电立方II、III设备都挂载至计算节点上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS和闪电立方II、III设备至计算节点的操作步骤。

前提条件

  • 已准备计算节点。

  • 在挂载闪电立方II、III设备至计算节点前,请先确认计算节点,已经通过网线直连方式或交换机方式,连接到闪电立方II、III设备的网口或光口上,并确认网线、光纤线和光模块连接正常,端口连接指示灯正常。

步骤一:配置业务IP地址

  1. 登录硬件控制台。具体操作,请参见安装硬件

  2. 选择设置>访问>通道>网络,找到已连接的数据通道,单击编辑

  3. 设置主机通道信息,类型修改为文件级数据服务

    说明

    修改类型后,需要重启控制器,才能生效。选择设置>系统>通用,单击重启控制器,完成重启。

  4. 设置控制器A和控制器B的IPv4协议,单击应用

    IP地址类型设置为静态,并根据您的实际网络环境设置IP地址子网掩码默认网关

    说明

    请记录此IP地址,在创建数据地址时,需配置此IP地址。

步骤二:挂载HDFS至计算节点

您可以参考以下方法使用FUSE挂载HDFS至计算节点。

注意

该方法仅供您参考,如果挂载失败,请参见Configuring Mountable HDFS

  1. 部署CDH并下载hadoop-hdfs-fuse包。

  2. 登录计算节点(Linux系统)。

  3. 执行以下命令安装hadoop-hdfs-fuse。

    • 与Red hat兼容的系统

      sudo yum install hadoop-hdfs-fuse

    • Ubuntu系统

      sudo apt-get install hadoop-hdfs-fuse

    • SLES系统

      sudo zypper install hadoop-hdfs-fuse

  4. 执行以下命令设置并测试挂载点。

    • 非HA安装

      mkdir -p <mount_point>

      hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port> <mount_point>

      其中namenode_port为NameNode的RPC端口。

    • HA安装

      mkdir -p <mount_point>

      hadoop-fuse-dfs dfs://<nameservice_id> <mount_point>

      其中nameservice_idfs.defaultFS的值。

  5. 按下Ctrl+C组合键结束fuse-dfs程序。

  6. 执行以下命令,清理测试。

    umount <mount_point>

  7. 打开/etc/fstab,在底部添加如下行。

    hadoop-fuse-dfs#dfs://<name_node_hostname>:<namenode_port> <mount_point> fuse allow_other,usetrash,rw 2 0

    例如:hadoop-fuse-dfs#dfs://localhost:8020 /mnt/hdfs fuse allow_other,usetrash,rw 2

    在HA部署中,使用HDFS命名服务,即“hdfs-site.xml”中“dfs.nameservices”的值而不是NameNode URI。

  8. 执行以下命令,测试以确保系统正常运行。

    mount <mount_point>

    系统配置为允许使用ls命令,并可以像使用普通系统磁盘一样使用该挂载点。

步骤三:挂载闪电立方至计算节点

  1. 以root用户登录计算节点(Linux系统)。

  2. 查看闪电立方设备共享的文件夹。其中业务IP地址,请使用实际值替换。

    showmount -e 业务IP地址

    此处查看结果以/Pool-1/volume_1/cube为例。

  3. 创建挂载点。

    mkdir /mnt/sdlf

  4. 将闪电立方设备挂载到计算节点。其中业务IP地址,请使用实际值替换。

    mount 业务IP地址:/Pool-1/volume_1/cube /mnt/sdlf/

  5. 检查挂载结果。

    df -h

    如果显示如下信息,则表示挂载成功。

    挂载闪电立方到计算节点图片
阿里云首页 离线迁移服务(闪电立方) 相关技术圈