• E-MapReduce 采用类似 a.b.c 格式的版本号:

    • a 代表了版本有较大的变动。
    • b 代表版本中一些组件的变动,相对较小。
    • c代表了版本中 bug 的修复,可以向前兼容。

    例如,1.0.0 和 2.0.0 就是一个 a 位置的大版本的变动,在升级后请务必测试保证之前的作业都能正常运作。1.0.0 和 1.1.0 是一个 b 位置的变动,一般是组件版本进行了升级。大部分都相似,但也请注意测试。1.0.0 和 1.0.1 就是 c 位置发生了变化,这两个版本可以完全兼容。

  • 每个 E-MapReduce 发行版本上捆绑的软件和软件版本都是固定的。目前还不支持软件的多个不同版本的选择,也不推荐用户自行更改软件的版本。

  • 当 E-MapReduce 的某一发行版本被选中,并在集群上创建起来时,该集群使用的版本就不会自动升级了。后续该版本对应的镜像如果升级了也不会影响到已经创建出来的集群,只有新的集群才会使用新的镜像。

  • 当您升级集群版本的时候,比如从 1.0.x 升级到 1.1.x,请务必测试您的作业,保证它们在新的软件环境中也能正常运行。

产品发行版本更新记录

  • 3.x
    版本 EMR-3.7.1 EMR-3.8.1 EMR-3.9.1 EMR-3.10.1 EMR-3.11.0 EMR-3.12.0 EMR-3.13.0 EMR-3.14.0 EMR-3.15.0 EMR-3.16.0 EMR-3.17.0
    发布时间 2018.1 2018.1 2018.2 2018.4 2018.6 2018.7 2018.8 2018.10 2018.11 2018.12 2019.1
    Hadoop 2.7.2-emr-1.2.10 2.7.2-emr-1.2.12 2.7.2-emr-1.2.13 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2 2.7.2 2.7.2 2.7.2-1.3.2 2.7.2
    Spark 2.2.1 2.2.1 2.2.1 2.2.1 2.2.1 2.3.1 2.3.1 2.3.1 2.3.2 2.3.2-1.0.1 2.3.2
    Hive 2.3.2 2.3.2 2.3.2 2.3.2 2.3.3 2.3.3 2.3.3 2.3.3 2.3.3 2.3.3-1.0.3 2.3.3
    Tez 0.8.4 0.8.4 0.8.4 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1-1.0.2 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6 1.4.6 1.4.6 1.4.7 1.4.7 1.4.7 1.4.7 1.4.7-1.0.0 1.4.7
    Flink 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.6.2-1.0.0 1.6.2
    Druid 0.11.0 0.11.0 0.11.0 0.12.0 0.12.2 0.12.3 0.12.3 0.12.3-1.0.1 0.12.3
    HBase 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1-1.0.2 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0-1.0.0 4.10.0
    Zookeeper 3.4.11 3.4.11 3.4.11 3.4.11 3.4.11 3.4.12 3.4.12 3.4.13 3.4.13 3.4.13 3.4.13
    Presto 0.188 0.188 0.188 0.188 0.188 0.188 0.208 0.208 0.208 0.208 0.213
    Storm 1.0.1 1.0.1 1.0.1 1.1.2 1.1.2 1.1.2 1.1.2 1.1.2 1.1.2 1.2.2 1.2.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0-1.0.0 2.12.2
    Hue 3.12.0 3.12.0 3.12.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0
    Zeppelin 0.7.1 0.7.1 0.7.1 0.7.1 0.7.3 0.7.3 0.8.0 0.8.0 0.8.0 0.8.0 0.8.0
    Ranger 0.7.1 0.7.1 0.7.3 1.0.0 1.0.0 1.0.0 1.0.0 1.0.0 1.0.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0
    Kafka 2.11-1.0.1 2.11-1.0.1 2.11-1.0.1 2.11-1.1.0 1.1.1
    Superset 0.25.6 0.25.6 0.27.0 0.28.1 0.28.1
    Jupyter  4.4.0 4.4.0 4.4.0
    Analytics Zoo 0.2.0 0.2.0 0.2.0
  • 2.x
    版本 EMR-2.9.2 EMR-2.10.0 EMR-2.11.0
    发布时间 2018.2 2018.4 2018.7
    Hadoop 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12
    Spark 1.6.3 1.6.3 1.6.3
    Hive 2.3.2 2.3.2 2.3.3
    Tez 0.8.4 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6
    Hue 3.12.0 4.1.0 4.1.0
    Zeppelin 0.7.1 0.7.1 0.7.3
    HBase 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0
    Storm 1.0.1 1.1.2 1.1.2
    Presto 0.188 0.188 0.188.0
    Impala 2.10.0 2.10.0 2.10.0
    Zookeeper 3.4.6 3.4.11 3.4.11
    Oozie 4.2.0 4.2.0 4.2.0
    Ranger 0.7.1 0.7.1 0.7.3
    Ganglia 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4
  • 1.x
    版本 EMR-1.0.0 EMR-1.1.0 EMR-1.2.0 EMR-1.3.0
    发布时间 2015.11 2016.3 2016.4 2016.5
    Hadoop 2.6.0 2.6.0 2.6.0 2.6.0-emr-1.1.1
    Spark 1.4.1 1.6.0 1.6.1 1.6.1
    Hive 1.0.1 1.0.1 2.0.0 2.0.0
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop - - - 1.4.6
    Hue - - - 3.9.0
    Zeppelin - - - 0.5.6
    HBase - - 1.1.1 1.1.1
    Phoenix - - - -
    Zookeeper - - 3.4.6 3.4.6
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
  • Hadoop的版本说明:

    我们基于开源Hadoop的版本,在完全不改变原有接口的基础上,加入了我们的emr-core组件,深度支持阿里云的OSS。这个组件的版本会跟在Hadoop版本后。该组件的版本说明参考这里

  • EMR 3.2.x

    EMR 3.2.0:支持所有的服务在界面上进行起停操作。能够在界面对服务进行配置管理。

  • EMR 3.1.x

    EMR 3.1.1:OS升级到CentOS7.2,Spark升级到2.1.1版本,emr-core升级到1.2.6版本,修复了若干OSS免AK操作的BUG。

  • EMR 3.0.x
    • EMR 3.0.2:emr-core版本升级到1.2.5,OSS免AK支持更多region,调整角色AK的替换策略,修复关于Hive,Hadoop的若干BUG。
    • EMR 3.0.1:支持交互式,支持统一的表管理,使用外部统一数据库保存hive meta。升级emr-core到1.2.4版本,优化了OSS读写的性能。所有使用外部hive meta的集群都共享同一份meta信息。Spark升级到2.0.2。
    • EMR 3.0.0:请使用升级版本3.0.1。完全兼容。
  • EMR 2.4.x
    • EMR 2.4.2:emr-core版本升级到1.2.5,OSS免AK支持更多region,调整角色AK的替换策略,修复关于Hive,Hadoop的若干BUG。
    • EMR 2.4.1:支持交互式,支持统一的表管理,使用外部统一数据库保存hive meta。升级emr-core到1.2.4版本,优化了OSS读写的性能。所有使用外部hive meta的集群都共享同一份meta信息。
    • EMR 2.4.0:请使用升级版本2.4.1。完全兼容。
  • EMR 2.3.x
    • EMR 2.3.1:支持交互式工作台,每个集群使用独立的内部数据库保存hive meta。
    • EMR 2.3.0:早期版本,在维护中。支持交互式,不支持表管理。不推荐使用。
  • EMR 2.2.0

    临时版本,已废弃。

  • EMR 2.1.x
    • EMR 2.1.1:早期版本,在维护中。但不支持交互式、表管理等功能。不推荐使用。
    • EMR 2.1.0:早期版本,目前已废弃。
  • EMR 2.0.x

    早期版本,目前已废弃。

  • EMR 1.x

    早期版本,支持的功能少。目前已废弃。