本文介绍E-MapReduce产品的发行版本号格式、发行版本更新记录和发行版本说明。

产品发行版本号格式

E-MapReduce采用类似a.b.c格式的版本号，详细说明如下：

  • a代表了版本有较大的变动。
  • b代表版本中一些组件的变动，相对较小。
  • c代表了版本中bug的修复，可以向前兼容。

以版本升级为例，详细说明如下：

  • 1.0.0~2.0.0：这是一个a位置的大版本的变动，在升级后请务必测试保证之前的作业都能正常运作。
  • 1.0.0~1.1.0：这是一个b位置的变动，一般是组件版本进行了升级，大部分都相似，但也需要进行测试。
  • 1.0.0~1.0.1：这是一个c位置发生了变化，这两个版本可以完全兼容。

E-MapReduce每个版本的捆绑软件、集群创建以及集群升级说明如下：

  • 捆绑软件：每个E-MapReduce发行版本上捆绑的软件和软件版本都是固定的。目前还不支持软件的多个不同版本的选择，也不推荐用户自行更改软件的版本。
  • 集群创建：创建某一个发行版本的E-MapReduce集群后，该集群使用的版本就不会自动升级了。后续即使升级该版本对应的镜像，也不会影响已经创建的集群，但新建集群会使用新的镜像。
  • 集群升级：集群升级完成后（例如，从1.0.x升级到 1.1.x），请务必测试集群中的作业，以保证它们在新的软件环境中也能正常运行。

产品发行版本更新记录

  • EMR-3.19.0~EMR-3.22.0
    版本 EMR-3.19.0 EMR-3.19.1 EMR-3.20.0 EMR-3.21.0 EMR-3.22.0
    发布时间 2019.3 2019.4 2019.5 2019.6 2019.7
    Hadoop 2.8.5 2.8.5 2.8.5 2.8.5 2.8.5
    Knox 1.1.0 1.1.0 1.1.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.4.1 2.4.1 2.4.2 2.4.3 2.4.3
    Hive 3.1.1 3.1.1 3.1.1 3.1.1 3.1.1
    Tez 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7 1.4.7 1.4.7 1.4.7
    YARN 2.8.5 2.8.5 2.8.5 2.8.5 2.8.5
    HDFS 2.8.5 2.8.5 2.8.5 2.8.5 2.8.5
    Flink 1.7.2 1.7.2 1.7.2 1.7.2 1.7.2
    Druid 0.13.0 0.13.0 0.13.0 0.14.2 0.14.2
    HBase 1.4.9 1.4.9 1.4.9 1.4.9 1.4.9
    Phoenix 4.14.1 4.14.1 4.14.1 4.14.1 4.14.1
    Zookeeper 3.4.13 3.4.13 3.4.13 3.4.13 3.5.5
    Livy 0.60 0.60 0.60 0.60 0.60
    Presto 0.213 0.213 0.213 0.213 0.221
    Storm 1.2.2 1.2.2 1.2.2 1.2.2 1.2.2
    Impala 2.12.2 2.12.2 2.12.2 2.12.2 2.12.2
    Flume 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0
    Hue 4.1.0 4.1.0 4.1.0 4.4.0 4.4.0
    Oozie 4.2.0 4.2.0 5.1.0 5.1.0 5.1.0
    Zeppelin 0.8.0 0.8.0 0.8.1 0.8.1 0.8.1
    Ranger 1.2.0 1.2.0 1.2.0 1.2.0 1.2.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - 1.8.0 1.8.0 1.8.0
    Kafka 2.11-1.1.1 1.1.1 2.11 1.1.1 1.1.1
    Superset 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
    Jupyter - - 4.4.0 4.4.0 4.4.0
    Analytics Zoo - - 0.2.0 0.5.0 0.5.0
    Bigboot - - 1.0.0 1.0.0 2.0.0
    OpenLDAP - - - - 2.4.44
    Kudu - - - - 1.10.0
  • EMR-3.15.0~EMR-3.18.1
    版本 EMR-3.15.0 EMR-3.16.0 EMR-3.17.0 EMR-3.18.1
    发布时间 2018.11 2018.12 2019.1 2019.2
    Hadoop 2.7.2 2.7.2-1.3.2 2.7.2 2.8.5
    Knox 0.13.0 0.13.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.3.2 2.3.2-1.0.1 2.3.2 2.3.2
    Hive 2.3.3 2.3.3-1.0.3 2.3.3 3.1.1
    Tez 0.9.1 0.9.1-1.0.2 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7-1.0.0 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.8.5
    HDFS 2.7.2 2.7.2 2.7.2 2.8.5
    Flink 1.4.0 1.6.2-1.0.0 1.6.2 1.6.2
    Druid 0.12.3 0.12.3-1.0.1 0.12.3 0.13.0
    HBase 1.1.1 1.1.1-1.0.2 1.1.1 1.4.9
    Phoenix 4.10.0 4.10.0-1.0.0 4.10.0 4.14.1
    Zookeeper 3.4.13 3.4.13 3.4.13 3.4.13
    Livy 0.50. 0.50. 0.50. 0.60.
    Presto 0.208 0.208 0.213 0.213
    Storm 1.1.2 1.2.2 1.2.2 1.2.2
    Impala 2.10.0 2.10.0-1.0.0 2.12.2 2.12.2
    Flume 1.8.0 1.8.0 1.8.0
    Hue 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.8.0 0.8.0 0.8.0 0.8.0
    Ranger 1.0.0 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow 1.8.0 1.8.0 1.8.0 -
    Kafka 2.11-1.0.1 2.11-1.1.0 2.11-1.1.1 2.11-1.1.1
    Superset 0.27.0 0.28.1 0.28.1 0.28.1
    Jupyter 4.4.0 4.4.0 4.4.0 -
    Analytics Zoo 0.2.0 0.2.0 0.2.0 -
  • EMR3.11.0~EMR-3.14.0
    版本 EMR-3.11.0 EMR-3.12.0 EMR-3.13.0 EMR-3.14.0
    发布时间 2018.6 2018.7 2018.8 2018.10
    Hadoop 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2 2.7.2
    Knox 0.13.0 0.13.0 0.13.0 0.13.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.3.1 2.3.1 2.3.1
    Hive 2.3.3 2.3.3 2.3.3 2.3.3
    Tez 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.7 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.7.2
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2
    Flink 1.4.0 1.4.0 1.4.0 1.4.0
    Druid 0.11.0 0.12.0 0.12.2 0.12.3
    HBase 1.1.1 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0
    Zookeeper 3.4.11 3.4.12 3.4.12 3.4.13
    Livy - - - -
    Presto 0.188 0.188 0.208 0.208
    Storm 1.1.2 1.1.2 1.1.2 1.1.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0
    Flume - - - -
    Hue 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.3 0.7.3 0.8.0 0.8.0
    Ranger 0.7.3 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - 1.8.0 1.8.0
    Kafka - - 2.11-1.0.1 2.11-1.0.1
    Superset - - 0.25.6 0.25.6
    Jupyter - - - -
    Analytics Zoo - - - -
  • EMR-3.7.1~EMR-3.10.1
    版本 EMR-3.7.1 EMR-3.8.1 EMR-3.9.1 EMR-3.10.1
    发布时间 2018.1 2018.1 2018.2 2018.4
    Hadoop 2.7.2-emr-1.2.10 2.7.2-emr-1.2.12 2.7.2-emr-1.2.13 2.7.2-emr-1.2.14
    Knox 0.13.0 0.13.0 0.13.0 0.13.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.2.1 2.2.1 2.2.1
    Hive 2.3.2 2.3.2 2.3.2 2.3.2
    Tez 0.8.4 0.8.4 0.8.4 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6 1.4.6
    YARN 2.7.2 2.7.2 2.7.2 2.7.2
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2
    Flink - 1.4.0 1.4.0 1.4.0
    Druid - - 0.11.0 0.11.0
    HBase 1.1.1 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0
    Zookeeper 3.4.11 3.4.11 3.4.11 3.4.11
    Livy - - - -
    Presto 0.188 0.188 0.188 0.188
    Storm 1.0.1 1.0.1 1.0.1 1.1.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0
    Flume - - - -
    Hue 3.12.0 3.12.0 3.12.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.1 0.7.1 0.7.1 0.7.1
    Ranger - - 0.7.1 0.7.1
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - - -
    Kafka - - - -
    Superset - - - -
    Jupyter - - - -
    Analytics Zoo - - - -
  • EMR-2.9.2~EMR-2.11.0
    版本 EMR-2.9.2 EMR-2.10.0 EMR-2.11.0
    发布时间 2018.2 2018.4 2018.7
    Hadoop 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12
    Spark 1.6.3 1.6.3 1.6.3
    Hive 2.3.2 2.3.2 2.3.3
    Tez 0.8.4 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6
    Hue 3.12.0 4.1.0 4.1.0
    Zeppelin 0.7.1 0.7.1 0.7.3
    HBase 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0
    Storm 1.0.1 1.1.2 1.1.2
    Presto 0.188 0.188 0.188.0
    Impala 2.10.0 2.10.0 2.10.0
    Zookeeper 3.4.6 3.4.11 3.4.11
    Oozie 4.2.0 4.2.0 4.2.0
    Ranger 0.7.1 0.7.1 0.7.3
    Ganglia 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4
  • EMR-1.0.0~EMR-1.3.0
    版本 EMR-1.0.0 EMR-1.1.0 EMR-1.2.0 EMR-1.3.0
    发布时间 2015.11 2016.3 2016.4 2016.5
    Hadoop 2.6.0 2.6.0 2.6.0 2.6.0-emr-1.1.1
    Spark 1.4.1 1.6.0 1.6.1 1.6.1
    Hive 1.0.1 1.0.1 2.0.0 2.0.0
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop - - - 1.4.6
    Hue - - - 3.9.0
    Zeppelin - - - 0.5.6
    HBase - - 1.1.1 1.1.1
    Phoenix - - - -
    Zookeeper - - 3.4.6 3.4.6
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
说明

Hadoop版本说明：

我们基于开源Hadoop的版本，在完全不改变原有接口的基础上，加入了我们的emr-core组件，深度支持阿里云的OSS。这个组件的版本会跟在Hadoop版本后。

产品发行版本说明

E-MapReduce产品各发行版本的详细说明如下：