JindoFS在EMR-3.27.0及之后版本中支持使用Raft-RocksDB-OTS作为Jindo元数据服务（Namespace Service）的存储。1个EMR JindoFS集群创建3个Master节点组成1个Raft实例，实例的每个Peer节点使用本地RocksDB存储元数据信息。Raft元数据实例的OTS（TableStore）备份为可选的容灾操作，Raft元数据本身具有一定的容灾能力，可根据实际情况判断是否需要开启。

背景信息

RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore（OTS）实例，作为Jindo的元数据服务的额外存储介质，本地的元数据信息会实时异步地同步到用户的Tablestore实例上。

元数据服务-多机Raft-RocksDB-Tablestore+HA如下图所示。Raft + RocksDB + Tablestore

前提条件

  • 可选：创建Tablestore实例，推荐使用高性能实例，详情请参见创建实例。
    说明 需要开启OTS（Tablestore）的事务特性。
  • 创建3 Master的EMR集群，详情请参见创建集群。3 Master

配置本地raft后端

  1. 进入SmartData服务页面。
    1. 登录阿里云E-MapReduce控制台。
    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
    3. 单击上方的集群管理页签。
    4. 在集群管理页面，单击相应集群所在行的详情。
    5. 在左侧导航栏，选择集群服务 > SmartData。
  2. 暂停SmartData所有服务。
    1. 选择右上角的操作 > 停止All Components。
    2. 在执行集群操作对话框，填写执行原因，单击确定。
    3. 在确认对话框，单击确定。
  3. 根据使用需求，添加需要的namespace。
  4. 进入SmartData服务的namespace页签。
    1. 在左侧导航栏，选择集群服务 > SmartData。
    2. 单击配置页签。
    3. 在服务配置区域，单击namespace页签。
  5. 在SmartData服务的namespace页签，设置如下参数。
    参数 描述 示例
    namespace.backend.type 设置namespace后端存储类型，支持：
    • rocksdb
    • ots
    • raft

    默认为rocksdb。

    		 raft
    namespace.backend.raft.initial-conf 部署raft实例的3个Master地址（固定值）。 emr-header-1:8103:0,emr-header-2:8103:0,emr-header-3:8103:0
    jfs.namespace.server.rpc-address Client端访问raft实例的3个Master地址（固定值） emr-header-1:8101,emr-header-2:8101,emr-header-3:8101
    说明 如果不需要使用OTS远端存储，直接执行步骤7和步骤9；如果需要使用OTS远端存储，请执行步骤6~步骤9。
  6. 可选：配置远端OTS异步存储。
    在SmartData服务的namespace页签，设置如下参数。
    参数 参数说明 示例
    namespace.ots.instance Tablestore实例名称。 emr-jfs
    namespace.ots.accessKey Tablestore实例的AccessKey ID。 kkkkkk
    namespace.ots.accessSecret Tablestore实例的AccessKey Secret。 XXXXXX
    namespace.ots.endpoint Tablestore实例的Endpoint地址，通常EMR集群，推荐使用VPC地址。 http://emr-jfs.cn-hangzhou.vpc.tablestore.aliyuncs.com
    namespace.backend.raft.async.ots.enabled 是否开启OTS异步上传，包括：
    • true
    • false
    当设置为true时，需要在SmartData服务完成初始化前，开启OTS异步上传功能。
    说明 如果SmartData服务已完成初始化，则不能再开启该功能。因为OTS的数据已经落后于本地RocksDB的数据。
    		true
  7. 保存配置。
    1. 单击右上角的保存。
    2. 在确认修改对话框中，输入执行原因，开启自动更新配置。
    3. 单击确定。
  8. 启动SmartData所有服务。
    1. 在SmartData服务页面，选择右上角的操作 > 启动All Components。
    2. 在执行集群操作对话框，填写执行原因，单击确定。
    3. 在确认对话框，单击确定。
  9. 通过SSH方式连接集群，然后执行以下命令查看状态。
    jindo jfs -metaStatus -detail

    如果返回信息中包含raft字样，则表示配置生效。

从Tablestore恢复元数据信息

重要 需要开启OTS（TableStore）的备份功能。

如果您在原始集群开启了远端Tablestore异步存储，则Tablestore上会有1份完整的JindoFS元数据的副本。您可以在停止或释放原始集群后，在新创建的集群上恢复原先的元数据，从而继续访问之前保存的文件。

  1. 可选：准备工作。
    1. 查看原始集群的元数据信息（文件和文件夹数量）。
      hadoop fs -count jfs://test/
      返回信息如下所示。
      1596      1482809                 25 jfs://test/
      说明 返回信息中的1596表示文件夹个数，1482809为文件个数。
    2. 停止原始集群的作业，等待30~120秒左右，等待原始集群的数据已经完全同步到Tablestore。执行以下命令查看状态。如果LEADER节点显示_synced=1，则表示Tablestore为最新数据，同步完成。
      jindo jfs -metaStatus -detail
      查看状态
    3. 停止或释放原始集群，确保没有其它集群正在访问当前的Tablestore实例。
  2. 创建新集群。
    新建与Tablestore实例相同Region的EMR集群，暂停SmartData所有服务。详情请参见配置本地raft后端。
  3. 初始化配置。
    在SmartData服务的namespace页签，设置以下参数。
    参数 描述 示例
    namespace.backend.raft.async.ots.enabled 是否开启OTS异步上传，包括：
    • true
    • false
    		 false
    namespace.backend.raft.recovery.mode 是否开启从OTS恢复元数据，包括：
    • true
    • false
    		 true
  4. 保存配置。
    1. 单击右上角的保存。
    2. 在确认修改对话框中，输入执行原因，开启自动更新配置。
    3. 单击确定。
  5. 启动SmartData所有服务。
    1. 在SmartData服务页面，选择右上角的操作 > 启动All Components。
    2. 在执行集群操作对话框，填写执行原因，单击确定。
    3. 在确认对话框，单击确定。
  6. 新集群的SmartData服务启动后，自动从OTS恢复元数据到本地Raft-RocksDB上，可以通过以下命令查看恢复进度。
    jindo jfs -metaStatus -detail
    如图所示，LEADER节点的state为FINISH表示恢复完成。查看状态
  7. 可选：执行以下操作，可以比较一下文件数量与原始集群是否一致。
    • 执行以下命令，查看文件数量是否与原集群一致。
      hadoop fs -count jfs://test/
      返回信息如下所示。
      1596      1482809                 25 jfs://test/
    • 执行以下命令，查看文件是否可以正常读取。
      hadoop fs -cat jfs://test/testfile
    • 执行以下命令，查看文件目录。
      hadoop fs -ls jfs://test/
      返回信息如下所示。
      Found 3 items
drwxrwxr-x   - root   root            0 2020-03-25 14:54 jfs://test/emr-header-1.cluster-50087
-rw-r-----   1 hadoop hadoop          5 2020-03-25 14:50 jfs://test/haha-12096RANDOM.txt
-rw-r-----   1 hadoop hadoop         20 2020-03-25 15:07 jfs://test/testfile
    • 执行以下命令，验证文件是否不可修改。
      hadoop fs -rm jfs://test/testfile
      返回如下提示信息。
      java.io.IOException: ErrorCode : 25021 , ErrorMsg: Namespace is under recovery mode, and is read-only.
      说明 此时的集群为恢复模式，也是只读模式，不可修改文件
  8. 修改配置，将集群设置为正常模式，开启OTS异步上传功能。
    在SmartData服务的namespace页签，设置以下参数。
    参数 描述 示例
    namespace.backend.raft.async.ots.enabled 是否开启OTS异步上传，包括：
    • true
    • false
    		 true
    namespace.backend.raft.recovery.mode 是否开启从OTS恢复元数据，包括：
    • true
    • false
    		 false
  9. 重启集群。
    1. 单击上方的集群管理页签。
    2. 在集群管理页面，选择相应集群所在行的更多 > 重启。
    3. 在确认重启集群对话框中，单击确定。