产品发行版本号格式

  • E-MapReduce 采用类似 a.b.c 格式的版本号:

    • a 代表了版本有较大的变动。
    • b 代表版本中一些组件的变动,相对较小。
    • c代表了版本中 bug 的修复,可以向前兼容。

    例如,1.0.0 和 2.0.0 就是一个 a 位置的大版本的变动,在升级后请务必测试保证之前的作业都能正常运作。1.0.0 和 1.1.0 是一个 b 位置的变动,一般是组件版本进行了升级。大部分都相似,但也请注意测试。1.0.0 和 1.0.1 就是 c 位置发生了变化,这两个版本可以完全兼容。

  • 每个 E-MapReduce 发行版本上捆绑的软件和软件版本都是固定的。目前还不支持软件的多个不同版本的选择,也不推荐用户自行更改软件的版本。

  • 当 E-MapReduce 的某一发行版本被选中,并在集群上创建起来时,该集群使用的版本就不会自动升级了。后续该版本对应的镜像如果升级了也不会影响到已经创建出来的集群,只有新的集群才会使用新的镜像。

  • 当您升级集群版本的时候,比如从 1.0.x 升级到 1.1.x,请务必测试您的作业,保证它们在新的软件环境中也能正常运行。

产品发行版本更新记录

  • 3.x
    版本 EMR-3.7.1 EMR-3.8.1 EMR-3.9.1 EMR-3.10.1 EMR-3.11.0 EMR-3.12.0 EMR-3.13.0 EMR-3.14.0 EMR-3.15.0 EMR-3.16.0 EMR-3.17.0 EMR-3.18.1 EMR-3.19.0 EMR-3.19.1 EMR-3.20.0
    发布时间 2018.1 2018.1 2018.2 2018.4 2018.6 2018.7 2018.8 2018.10 2018.11 2018.12 2019.1 2019.2 2019.3 2019.4 2019.5
    Hadoop 2.7.2-emr-1.2.10 2.7.2-emr-1.2.12 2.7.2-emr-1.2.13 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2-emr-1.2.14 2.7.2 2.7.2 2.7.2 2.7.2-1.3.2 2.7.2 2.8.5 2.8.5 2.8.5 2.8.5
    Knox 0.13.0 0.13.0 0.13.0 0.13.0 0.13.0 0.13.0 0.13.0 0.13.0 0.13.0 0.13.0 1.1.0 1.1.0 1.1.0 1.1.0 1.1.0
    ApacheDS 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0 2.0.0
    Spark 2.2.1 2.2.1 2.2.1 2.2.1 2.2.1 2.3.1 2.3.1 2.3.1 2.3.2 2.3.2-1.0.1 2.3.2 2.3.2 2.4.1 2.4.1 2.4.2
    Hive 2.3.2 2.3.2 2.3.2 2.3.2 2.3.3 2.3.3 2.3.3 2.3.3 2.3.3 2.3.3-1.0.3 2.3.3 3.1.1 3.1.1 3.1.1 3.1.1
    Tez 0.8.4 0.8.4 0.8.4 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1-1.0.2 0.9.1 0.9.1 0.9.1 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6 1.4.6 1.4.6 1.4.7 1.4.7 1.4.7 1.4.7 1.4.7-1.0.0 1.4.7 1.4.7 1.4.7 1.4.7 1.4.7
    YARN 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.8.5 2.8.5 2.8.5 2.8.5
    HDFS 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.7.2 2.8.5 2.8.5 2.8.5 2.8.5
    Flink 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.4.0 1.6.2-1.0.0 1.6.2 1.6.2 1.7.2 1.7.2 1.7.2
    Druid 0.11.0 0.11.0 0.11.0 0.12.0 0.12.2 0.12.3 0.12.3 0.12.3-1.0.1 0.12.3 0.13.0 0.13.0 0.13.0 0.13.0
    HBase 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1-1.0.2 1.1.1 1.4.9 1.4.9 1.4.9 1.4.9
    Phoenix 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0 4.10.0-1.0.0 4.10.0 4.14.1 4.14.1 4.14.1 4.14.1
    Zookeeper 3.4.11 3.4.11 3.4.11 3.4.11 3.4.11 3.4.12 3.4.12 3.4.13 3.4.13 3.4.13 3.4.13 3.4.13 3.4.13 3.4.13 3.4.13
    Livy 0.50. 0.50. 0.50. 0.60. 0.60. 0.60. 0.60.
    Presto 0.188 0.188 0.188 0.188 0.188 0.188 0.208 0.208 0.208 0.208 0.213 0.213 0.213 0.213 0.213
    Storm 1.0.1 1.0.1 1.0.1 1.1.2 1.1.2 1.1.2 1.1.2 1.1.2 1.1.2 1.2.2 1.2.2 1.2.2 1.2.2 1.2.2 1.2.2
    Impala 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0 2.10.0-1.0.0 2.12.2 2.12.2 2.12.2 2.12.2 2.12.2
    Flume 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0
    Hue 3.12.0 3.12.0 3.12.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0 4.1.0
    Oozie 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 4.2.0 5.1.0
    Zeppelin 0.7.1 0.7.1 0.7.1 0.7.1 0.7.3 0.7.3 0.8.0 0.8.0 0.8.0 0.8.0 0.8.0 0.8.0 0.8.0 0.8.0 0.8.1
    Ranger 0.7.1 0.7.1 0.7.3 1.0.0 1.0.0 1.0.0 1.0.0 1.0.0 1.0.0 1.0.0 1.2.0 1.2.0 1.2.0
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4 CentOS 7.4
    Tensorflow 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0 1.8.0
    Kafka 2.11-1.0.1 2.11-1.0.1 2.11-1.0.1 2.11-1.1.0 2.11-1.1.1 2.11-1.1.1 2.11-1.1.1 1.1.1 2.11
    Superset 0.25.6 0.25.6 0.27.0 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
    Jupyter 4.4.0 4.4.0 4.4.0 4.4.0
    Analytics Zoo 0.2.0 0.2.0 0.2.0 0.2.0
  • 2.x
    版本 EMR-2.9.2 EMR-2.10.0 EMR-2.11.0
    发布时间 2018.2 2018.4 2018.7
    Hadoop 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12 2.7.2-emr-1.2.12
    Spark 1.6.3 1.6.3 1.6.3
    Hive 2.3.2 2.3.2 2.3.3
    Tez 0.8.4 0.9.1 0.9.1
    Pig 0.14.0 0.14.0 0.14.0
    Sqoop 1.4.6 1.4.6 1.4.6
    Hue 3.12.0 4.1.0 4.1.0
    Zeppelin 0.7.1 0.7.1 0.7.3
    HBase 1.1.1 1.1.1 1.1.1
    Phoenix 4.10.0 4.10.0 4.10.0
    Storm 1.0.1 1.1.2 1.1.2
    Presto 0.188 0.188 0.188.0
    Impala 2.10.0 2.10.0 2.10.0
    Zookeeper 3.4.6 3.4.11 3.4.11
    Oozie 4.2.0 4.2.0 4.2.0
    Ranger 0.7.1 0.7.1 0.7.3
    Ganglia 3.7.2 3.7.2 3.7.2
    OS CentOS 7.4 CentOS 7.4 CentOS 7.4
  • 1.x
    版本 EMR-1.0.0 EMR-1.1.0 EMR-1.2.0 EMR-1.3.0
    发布时间 2015.11 2016.3 2016.4 2016.5
    Hadoop 2.6.0 2.6.0 2.6.0 2.6.0-emr-1.1.1
    Spark 1.4.1 1.6.0 1.6.1 1.6.1
    Hive 1.0.1 1.0.1 2.0.0 2.0.0
    Pig 0.14.0 0.14.0 0.14.0 0.14.0
    Sqoop - - - 1.4.6
    Hue - - - 3.9.0
    Zeppelin - - - 0.5.6
    HBase - - 1.1.1 1.1.1
    Phoenix - - - -
    Zookeeper - - 3.4.6 3.4.6
    Ganglia 3.7.2 3.7.2 3.7.2 3.7.2
  • Hadoop 的版本说明:

    我们基于开源 Hadoop 的版本,在完全不改变原有接口的基础上,加入了我们的 emr-core 组件,深度支持阿里云的 OSS。这个组件的版本会跟在 Hadoop 版本后。

  • EMR 3.2.x

    EMR 3.2.0:支持所有的服务在界面上进行起停操作。能够在界面对服务进行配置管理。

  • EMR 3.1.x

    EMR 3.1.1:OS 升级到 CentOS 7.2,Spark 升级到 2.1.1 版本,emr-core 升级到 1.2.6 版本,修复了若干 OSS 免 AK 操作的 BUG。

  • EMR 3.0.x
    • EMR 3.0.2:emr-core 版本升级到 1.2.5,OSS 免 AK 支持更多 region,调整角色 AK 的替换策略,修复关于Hive,Hadoop 的若干 BUG。
    • EMR 3.0.1:支持交互式,支持统一的表管理,使用外部统一数据库保存 hive meta。升级 emr-core 到 1.2.4 版本,优化了 OSS 读写的性能。所有使用外部 hive meta 的集群都共享同一份 meta 信息。Spark 升级到 2.0.2。
    • EMR 3.0.0:请使用升级版本 3.0.1。完全兼容。
  • EMR 2.4.x
    • EMR 2.4.2:emr-core 版本升级到 1.2.5,OSS 免 AK 支持更多 region,调整角色 AK 的替换策略,修复关于Hive,Hadoop 的若干 BUG。
    • EMR 2.4.1:支持交互式,支持统一的表管理,使用外部统一数据库保存 hive meta。升级 emr-core 到1.2.4版本,优化了 OSS 读写的性能。所有使用外部 hive meta 的集群都共享同一份 meta 信息。
    • EMR 2.4.0:请使用升级版本 2.4.1。完全兼容。
  • EMR 2.3.x
    • EMR 2.3.1:支持交互式工作台,每个集群使用独立的内部数据库保存 hive meta。
    • EMR 2.3.0:早期版本,在维护中。支持交互式,不支持表管理。不推荐使用。
  • EMR 2.2.0

    临时版本,已废弃。

  • EMR 2.1.x
    • EMR 2.1.1:早期版本,在维护中。但不支持交互式、表管理等功能。不推荐使用。
    • EMR 2.1.0:早期版本,目前已废弃。
  • EMR 2.0.x

    早期版本,目前已废弃。

  • EMR 1.x

    早期版本,支持的功能少。目前已废弃。