本文介绍E-MapReduce产品的发行版本号格式、发行版本更新记录和发行版本说明。

产品发行版本号格式

E-MapReduce采用类似a.b.c格式的版本号，详细说明如下：

  • a代表了版本有较大的变动。
  • b代表版本中一些组件的变动，相对较小。
  • c代表了版本中bug的修复，可以向前兼容。

以版本升级为例，详细说明如下：

  • 1.0.0~2.0.0：这是一个a位置的大版本的变动，在升级后请务必测试保证之前的作业都能正常运作。
  • 1.0.0~1.1.0：这是一个b位置的变动，一般是组件版本进行了升级，大部分都相似，但也需要进行测试。
  • 1.0.0~1.0.1：这是一个c位置发生了变化，这两个版本可以完全兼容。

E-MapReduce每个版本的捆绑软件、集群创建以及集群升级说明如下：

  • 捆绑软件：每个E-MapReduce发行版本上捆绑的软件和软件版本都是固定的。目前还不支持软件的多个不同版本的选择，也不推荐用户自行更改软件的版本。
  • 集群创建：创建某一个发行版本的E-MapReduce集群后，该集群使用的版本就不会自动升级了。后续即使升级该版本对应的镜像，也不会影响已经创建的集群，但新建集群会使用新的镜像。
  • 集群升级：集群升级完成后（例如，从1.0.x升级到 1.1.x），请务必测试集群中的作业，以保证它们在新的软件环境中也能正常运行。

产品发行版本更新记录

  • EMR-3.22.0~EMR-3.23.0
    版本 EMR-3.22.0 EMR-3.23.0
    发布时间 2019.7 2019.9
    Hadoop 2.8.5 2.8.5
    Knox 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0
    Spark 2.4.3 2.4.3
    Hive 3.1.1 3.1.1
    Tez 0.9.1 0.9.1
    Pig 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7
    YARN 2.8.5 2.8.5
    HDFS 2.8.5 2.8.5
    Flink 1.7.2 1.8.2
    Druid 0.14.2 0.15.1
    HBase 1.4.9 1.4.9
    Phoenix 4.14.1 4.14.1
    Zookeeper 3.5.5 3.5.5
    Livy 0.6.0 0.6.0
    Presto 0.221 0.221
    Storm 1.2.2 1.2.2
    Impala 2.12.2 2.12.2
    Flume 1.8.0 1.8.0
    Hue 4.4.0 4.4.0
    Oozie 5.1.0 5.1.0
    Zeppelin 0.8.1 0.8.1
    Ranger 1.2.0 1.2.0
    Ganglia 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4
    Tensorflow on Spark - 1.0.0
    Kafka 1.1.1 1.1.1
    Superset 0.28.1 0.28.1
    Jupyter 4.4.0 4.4.0
    Analytics Zoo 0.5.0 0.5.0
    Bigboot 2.0.0 2.0.2
    OpenLDAP 2.4.44 2.4.44
    Kudu 1.10.0 1.10.0
  • EMR-3.19.0~EMR-3.21.0
    版本 EMR-3.19.0 EMR-3.19.1 EMR-3.20.0 EMR-3.21.0
    发布时间 2019.3 2019.4 2019.5 2019.6
    Hadoop 2.8.5 2.8.5 2.8.5 2.8.5
    Knox 1.1.0 1.1.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.4.1 2.4.1 2.4.2 2.4.3
    Hive 3.1.1 3.1.1 3.1.1 3.1.1
    Tez 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7 1.4.7 1.4.7
    YARN 2.8.5 2.8.5 2.8.5 2.8.5
    HDFS 2.8.5 2.8.5 2.8.5 2.8.5
    Flink 1.7.2 1.7.2 1.7.2 1.7.2
    Druid 0.13.0 0.13.0 0.13.0 0.14.2
    HBase 1.4.9 1.4.9 1.4.9 1.4.9
    Phoenix 4.14.1 4.14.1 4.14.1 4.14.1
    Zookeeper 3.4.13 3.4.13 3.4.13 3.4.13
    Livy 0.6.0 0.6.0 0.6.0 0.6.0
    Presto 0.213 0.213 0.213 0.213
    Storm 1.2.2 1.2.2 1.2.2 1.2.2
    Impala 2.12.2 2.12.2 2.12.2 2.12.2
    Flume 1.8.0 1.8.0 1.8.0 1.8.0
    Hue 4.1.0 4.1.0 4.1.0 4.4.0
    Oozie 4.2.0 4.2.0 5.1.0 5.1.0
    Zeppelin 0.8.0 0.8.0 0.8.1 0.8.1
    Ranger 1.2.0 1.2.0 1.2.0 1.2.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - 1.8.0 1.8.0
    Kafka 2.11-1.1.1 1.1.1 2.11 1.1.1
    Superset 0.28.1 0.28.1 0.28.1 0.28.1
    Jupyter - - 4.4.0 4.4.0
    Analytics Zoo - - 0.2.0 0.5.0
    Bigboot - - 1.0.0 1.0.0
    OpenLDAP - - - -
    Kudu - - - -
  • EMR-3.15.0~EMR-3.18.1
    版本 EMR-3.15.0 EMR-3.16.0 EMR-3.17.0 EMR-3.18.1
    发布时间 2018.11 2018.12 2019.1 2019.2
    Hadoop 2.7.2 2.7.2-1.3.2 2.7.2 2.8.5
    Knox 0.13.0 0.13.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.3.2 2.3.2-1.0.1 2.3.2 2.3.2
    Hive 2.3.3 2.3.3-1.0.3 2.3.3 3.1.1
    Tez 0.9.1 0.9.1-1.0.2 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.7 1.4.7-1.0.0 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.8.5
    HDFS 2.7.2 2.7.2 2.7.2 2.8.5
    Flink 1.4.0 1.6.2-1.0.0 1.6.2 1.6.2
    Druid 0.12.3 0.12.3-1.0.1 0.12.3 0.13.0
    HBase 1.1.1 1.1.1-1.0.2 1.1.1 1.4.9
    Phoenix 4.10.0 4.10.0-1.0.0 4.10.0 4.14.1
    Zookeeper 3.4.13 3.4.13 3.4.13 3.4.13
    Livy 0.50. 0.50. 0.50. 0.60.
    Presto 0.208 0.208 0.213 0.213
    Storm 1.1.2 1.2.2 1.2.2 1.2.2
    Impala 2.10.0 2.10.0-1.0.0 2.12.2 2.12.2
    Flume - 1.8.0 1.8.0 1.8.0
    Hue 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.8.0 0.8.0 0.8.0 0.8.0
    Ranger 1.0.0 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow 1.8.0 1.8.0 1.8.0 -
    Kafka 2.11-1.0.1 2.11-1.1.0 2.11-1.1.1 2.11-1.1.1
    Superset 0.27.0 0.28.1 0.28.1 0.28.1
    Jupyter 4.4.0 4.4.0 4.4.0 -
    Analytics Zoo 0.2.0 0.2.0 0.2.0 -
  • EMR3.11.0~EMR-3.14.0
    版本 EMR-3.11.0 EMR-3.12.0 EMR-3.13.0 EMR-3.14.0
    发布时间 2018.6 2018.7 2018.8 2018.10
    Hadoop 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2 2.7.2
    Knox 0.13.0 0.13.0 0.13.0 0.13.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.3.1 2.3.1 2.3.1
    Hive 2.3.3 2.3.3 2.3.3 2.3.3
    Tez 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.7 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.7.2
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2
    Flink 1.4.0 1.4.0 1.4.0 1.4.0
    Druid 0.11.0 0.12.0 0.12.2 0.12.3
    HBase 1.1.1 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0
    Zookeeper 3.4.11 3.4.12 3.4.12 3.4.13
    Livy - - - -
    Presto 0.188 0.188 0.208 0.208
    Storm 1.1.2 1.1.2 1.1.2 1.1.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0
    Flume - - - -
    Hue 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.3 0.7.3 0.8.0 0.8.0
    Ranger 0.7.3 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - 1.8.0 1.8.0
    Kafka - - 2.11-1.0.1 2.11-1.0.1
    Superset - - 0.25.6 0.25.6
    Jupyter - - - -
    Analytics Zoo - - - -
  • EMR-3.7.1~EMR-3.10.1
    版本 EMR-3.7.1 EMR-3.8.1 EMR-3.9.1 EMR-3.10.1
    发布时间 2018.1 2018.1 2018.2 2018.4
    Hadoop 2.7.2-emr-1.2.10 2.7.2-emr-1.2.12 2.7.2-emr-1.2.13 2.7.2-emr-1.2.14
    Knox 0.13.0 0.13.0 0.13.0 0.13.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.2.1 2.2.1 2.2.1
    Hive 2.3.2 2.3.2 2.3.2 2.3.2
    Tez 0.8.4 0.8.4 0.8.4 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6 1.4.6
    YARN 2.7.2 2.7.2 2.7.2 2.7.2
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2
    Flink - 1.4.0 1.4.0 1.4.0
    Druid - - 0.11.0 0.11.0
    HBase 1.1.1 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0
    Zookeeper 3.4.11 3.4.11 3.4.11 3.4.11
    Livy - - - -
    Presto 0.188 0.188 0.188 0.188
    Storm 1.0.1 1.0.1 1.0.1 1.1.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0
    Flume - - - -
    Hue 3.12.0 3.12.0 3.12.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.1 0.7.1 0.7.1 0.7.1
    Ranger - - 0.7.1 0.7.1
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow - - - -
    Kafka - - - -
    Superset - - - -
    Jupyter - - - -
    Analytics Zoo - - - -
  • EMR-2.9.2~EMR-2.11.0
    版本 EMR-2.9.2 EMR-2.10.0 EMR-2.11.0
    发布时间 2018.2 2018.4 2018.7
    Hadoop 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12
    Spark 1.6.3 1.6.3 1.6.3
    Hive 2.3.2 2.3.2 2.3.3
    Tez 0.8.4 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6
    Hue 3.12.0 4.1.0 4.1.0
    Zeppelin 0.7.1 0.7.1 0.7.3
    HBase 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0
    Storm 1.0.1 1.1.2 1.1.2
    Presto 0.188 0.188 0.188.0
    Impala 2.10.0 2.10.0 2.10.0
    Zookeeper 3.4.6 3.4.11 3.4.11
    Oozie 4.2.0 4.2.0 4.2.0
    Ranger 0.7.1 0.7.1 0.7.3
    Ganglia 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4
  • EMR-1.0.0~EMR-1.3.0
    版本 EMR-1.0.0 EMR-1.1.0 EMR-1.2.0 EMR-1.3.0
    发布时间 2015.11 2016.3 2016.4 2016.5
    Hadoop 2.6.0 2.6.0 2.6.0 2.6.0-emr-1.1.1
    Spark 1.4.1 1.6.0 1.6.1 1.6.1
    Hive 1.0.1 1.0.1 2.0.0 2.0.0
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop - - - 1.4.6
    Hue - - - 3.9.0
    Zeppelin - - - 0.5.6
    HBase - - 1.1.1 1.1.1
    Phoenix - - - -
    Zookeeper - - 3.4.6 3.4.6
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
说明

Hadoop版本说明：

我们基于开源Hadoop的版本，在完全不改变原有接口的基础上，加入了我们的emr-core组件，深度支持阿里云的OSS。这个组件的版本会跟在Hadoop版本后。

产品发行版本说明

E-MapReduce产品各发行版本的详细说明如下：

E-MapReduce 3.22.0之前发行版本说明