本文以OSS为例,介绍如何将Hadoop文件系统上的数据迁移至JindoFS。

迁移数据

  • Hadoop FsShell

    对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:

    • hadoop dfs -cp hdfs://emr-cluster/README.md jfs://emr-jfs/
    • hadoop dfs -cp oss://oss_bucket/README.md jfs://emr-jfs/
  • DistCp

    对于文件较多或者数据量较大的场景,推荐使用Hadoop内置的DistCp进行同步:

    • hadoop distcp hdfs://emr-cluster/files jfs://emr-jfs/output/
    • hadoop distcp oss://oss_bucket/files jfs://emr-jfs/output/
    说明 DistCp参数详情,请参见DistCp Version2 Guide

利用JindoFS缓存模式

缓存模式是兼容现有OSS的存储方式,文件会以原生对象的形式存储在OSS上,同时OSS文件通过JindoFS缓存模式访问时,也有机会在本地进行数据和元数据的缓存、加速访问,具体请参见JindoFS缓存模式