通常E-MapReduce集群之间相互独立,每个集群的客户端只能连接并访问本集群内配置的namespace。在多集群的情况下,您可以通过配置JindoFS实现跨集群互访。本文以集群A访问集群B为例,介绍如何跨集群访问JindoFS。
前提条件
- 已创建EMR-3.30.0及后续版本的同一VPC下的集群A和B,详情请参见创建集群。
- 配置/etc/hosts文件,同步B集群所有节点的hosts至A集群。
修改配置
关联多个集群
client.external.namespace.rpc.addresses配置多个远端地址时,即可实现关联多个集群,不同的集群地址通过英文分号(;)隔开。
例如,集群A需要关联集群B和集群C,B集群(rocksdb实现)地址为emr-header-1.<cluster-B>:8101
,C集群(raft实现)地址为emr-header-1.<cluster-C>:8101,emr-header-2.<cluster-C>:8101,emr-header-3.<cluster-C>:8101
那A集群需要添加的配置信息为client.external.namespace.rpc.addresses=emr-header-1.<cluster-B>:8101;emr-header-1.<cluster-C>:8101,emr-header-2.<cluster-C>:8101,emr-header-3.<cluster-C>:8101
。