EMR集群JindoData升级流程

对于已创建的EMR-3.40.0及以上版本或EMR-5.6.0及以上版本的集群,如果遇到JindoData已知问题或需要使用新功能,可按照本文进行JindoData的升级操作。

背景信息

操作流程

步骤一:准备软件包

  1. 登录EMR集群的Master节点,详情请参见登录集群

  2. 将下载的patch包放在emr-user用户的HOME目录下,然后解压缩patch包。

    su - emr-user
    cd /home/emr-user/
    wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindodata-patches.tar.gz
    tar zxf jindodata-patches.tar.gz
  3. 下载JindoData软件包jindofsx-{VERSION}-linux.tar.gz,放在解压后的目录。

    cd jindodata-patches
    
    wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/4.6.11/jindofsx-4.6.11-linux.tar.gz
    
    ls -l

    jindodata-patches内容示例如下所示。

    -rwxr-xr-x 1 emr-user emr-user       580 May 30 20:28 apply_all.sh
    -rwxr-xr-x 1 emr-user emr-user       677 May 30 20:32 apply.sh
    -rw-r--r-- 1 emr-user emr-user        40 May 14 12:38 hosts
    -rw-r----- 1 emr-user emr-user xxxxxxxxx May 01 00:00 jindofsx-4.6.11.tar.gz

步骤二:配置升级节点信息

  1. 编辑patch包中的hosts文件。

    vim hosts
  2. 添加集群所有节点的hostname,例如master-1-1或core-1-1,文件内容以行分割。例如,本文hosts文件内容如下。

    master-1-1
    core-1-1
    core-1-2

步骤三:执行升级

通过apply_all.sh脚本执行升级操作。

./apply_all.sh $JINDODATA_VERSION

例如,升级集群中的JindoData至4.6.11版本。

./apply_all.sh 4.6.11

返回信息中包含### DONE时,表示脚本执行完成。

步骤四:重启服务

执行完升级操作后,在EMR控制台上重启JindoData服务的所有组件。