本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档，帮助您了解E-MapReduce的发布动态。
2024年
2024年08月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
新版监控诊断功能发布 | EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断经验。新版监控诊断整合并增强了EMR平台的可观测能力，提供集群实时健康诊断功能，对异常问题进行根因分析并提出处理建议，从而降低用户的运维成本。此外，通过集群日报提供的全局优化洞察建议，辅助用户提高集群的运行效率。 | 2024-08-20 | |
集群克隆能力优化 | 集群克隆支持恢复集群创建及使用过程中修改的服务配置、增加的节点组、弹性伸缩规则，支持客户基于已有集群快速创建一个相同配置的新集群。 | 2024-08-20 | |
节点组附加安全组数量上限提升 | 每个节点组最多可支持4个附加安全组，更灵活地满足客户对集群内ECS实例网络访问控制的需求。 | 2024-08-20 |
2024年06月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
扩容时支持开启自动续费功能 | 集群如果开启自动续费，新增节点将默认开启自动续费，减少客户异步操作，后续客户可在配置自动续费中，管理自动续费的开关和时长。 | 2024-06-19 | |
支持包月集群下的按量节点组转为包月 | 在包年包月集群下，针对付费模式为按量付费的Core、Task、Gateway节点组，支持按节点组粒度转包月，帮助客户更灵活的管理资源的付费模式。 | 2024-06-19 | |
支持创建Master-Extend节点组，自定义部署 | 集群节点提供Master-Extend类型节点组，支持在该节点组上自定义部署Spark、Hive、Kyuubi服务的组件，并能将配置自动同步。解决当前Master节点组负载过高的问题。 | 2024-06-19 |
2024年03月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
支持通过EMR控制台代理创建并管理OSS-HDFS Bucket | 在EMR控制台创建集群时，支持代理创建OSS-HDFS Bucket，并可以在集群服务中查看对应Bucket的存储概览和文件列表，不再需要跳转到OSS控制台操作，简化了使用流程，也避免了可能的误操作导致HDFS服务不可用的情况。 | 2024-03-14 | |
支持创建Gateway类型节点组 | 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机，并能够自动同步配置，解决了当前任务提交环境部署和配置难的问题。 | 2024-03-14 | |
支持管理健康检查项 | E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查，能够及时发现异常或风险点。健康检查项管理支持查看节点和服务组件检查内容，并对检查项进行编辑。 | 2024-03-14 | |
丰富服务组件健康检查项 | 丰富YARN、HDFS、Hive、Kafka和Zookeeper的健康检查项，以提升组件健康状态的准确度。 | 2024-03-14 | |
集群节点供应支持尽力交付模式 | 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的节点。 | 2024-03-14 |
2023年
2023年10月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
EMR正式支持倚天云服务器 | 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。 | 2023-10-24 | |
弹性伸缩规则推荐功能优化 | 弹性伸缩模块新增集群资源概览内容，能够分析您的集群资源利用情况，并对符合条件的集群推荐弹性伸缩规则。您可以开启弹性伸缩功能，提升集群资源弹性能力。 | 2023-10-24 | |
新增报警管理功能 | 集群管理新增了报警管理功能，该功能是基于云监控服务的。在EMR控制台上，您可以创建和查看集群的报警规则。如果资源的监控指标达到了报警条件，云监控将自动发送报警通知，帮助您及时了解集群的异常情况，并迅速采取相应措施。 | 2023-10-24 | |
新增节点健康状态 | 节点健康状态展示了当前节点的运行状态是否正常。您可以在节点管理页面查看节点的健康状态，及时发现异常节点。 | 2023-10-24 | |
支持设置云盘性能级别参数 | 在创建集群和新增节点组时，您可以为ESSD云盘设置不同的性能级别（PL级别），以满足不同集群性能需求。 | 2023-10-24 |
2023年8月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
新增集群模板功能 | 集群模板是一项持久化EMR实例配置功能，可用于快速创建EMR集群。 | 2023-08-29 | |
新增集群资源概览 | 弹性伸缩模块新增集群资源概览内容，该内容能够分析用户集群资源利用情况，并为符合条件的集群推荐弹性伸缩规则。用户可以使用该功能开启弹性伸缩，以提升集群资源的弹性能力。 | 2023-08-29 | |
新增查看配置项 | 如果某个配置项在节点组或节点级别进行了修改，则该配置项将在集群级别展示多层级的配置信息，包括节点组配置和名称，或者独立节点配置和名称。 | 2023-08-29 |
2023年7月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
新增弹性伸缩管理模块 | 为了更方便地管理集群弹性功能，EMR新增了专属管理模块，您可以在该模块中便捷地管理伸缩规则、查看集群弹性资源用量和费用成本，以评估集群弹性成本节省效果，优化集群资源利用率。 | 2023-07-12 | |
优化集群自动补偿功能 | 自动补偿提供替换异常节点的能力。 本次优化增加了信息提示和事件通知能力，让您可以快速了解自动补偿行为发生的过程。 说明 从2023年7月10日18:00（UTC+8）开始，新建按量付费的Task节点组时默认开启自动补偿开关。 | 2023-07-12 | |
优化服务配置 | 新增待下发和待生效提示灯，可以更好的引导用户进行配置修改后的操作，避免配置修改不生效的情况。 | 2023-07-12 | |
支持无状态集群 | 提供默认的数据湖架构，无需依赖HDFS。此外，在不使用必须依赖Core节点的服务时，您可以去掉Core节点组，构建完全无状态的集群，以进一步降低集群的运维成本。 | 2023-07-12 | |
支持YARN分区和队列关联 | 您可以直接在控制台完成分区和队列的关联管理，以及容量分配等操作，无需手动进行繁琐的配置。 | 2023-07-12 | |
按量部分支持秒级计费 | 通过更精细的计费粒度，可以实现更加精确的计费，有效地降低用户的使用成本。 | 2023-07-12 |
2023年6月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2023-06-01 | |
新增Paimon组件 | Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。 | 2023-06-01 | |
新增Presto组件 | Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎。 | 2023-06-07 |
2023年5月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
EMR Workflow | EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。 | 2023-05-19 |
2023年4月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2023-04-03 | |
湖仓一体新能力 | EMR支持Spark、Trino计算引擎直接访问Hologres和MaxCompute表。 | 2023-04-03 | |
Spark支持对接Hologres | Spark如何读取Hologres表数据。 | 2023-04-03 | |
升级节点的配置 | 通过配置升级功能可以提升ECS实例规格。 | 2023-04-03 | |
支持在控制台管理YARN分区 | 支持在控制台上通过可视化UI管理YARN分区，同时可以批量建立节点组与分区的映射，方便操作。 | 2023-04-13 | |
EMR Notebook | EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。 | 2023-04-24 |
2023年3月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
新增Flink Table Store组件 | Flink Table Store是一个流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。 | 2023-03-03 | |
支持导出和导入服务配置 | 阿里云E-MapReduce（简称EMR）提供的导出服务配置功能，支持以XML或JSON格式导出服务配置，便于备份、迁l移和恢复EMR服务的配置。 | 2023-03-02 |
2023年2月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2023-02-28 |
2022年
2022年12月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2022-12-01 | |
YARN Node Labels特性 | YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。 | 2022-12-14 |
2022年11月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2022-11-08 | |
管理日志 | 支持在EMR控制台直接查询开源组件的日志。 | 2022-11-29 |
2022年10月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2022-10-14 | |
使用HBase Shell | 可以使用HBase Shell连接HBase。 | 2022-10-21 | |
数据服务集群 | DataServing是阿里云E-MapReduce提供的基于Apache HBase的数据服务集群类型。 | 2022-10-28 |
2022年9月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
自动补偿 | 开启自动补偿功能后，当E-MapReduce（简称EMR）监测到您集群的ECS实例无法维持EMR上的引擎服务正常工作时，EMR的自动补偿功能会尝试为您新购ECS实例替换掉异常的ECS实例。 | 2022-09-07 | |
克隆集群 | 可以基于已有集群快速创建一个新的集群。 | 2022-09-09 |
2022年8月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
版本升级 |
| 2022-08-05 | |
部署集 | 部署集是阿里云ECS（Elastic Compute Service）提供的能力，用于控制ECS实例分布的策略，从而提升ECS实例的容灾能力和可用性。 | 2022-08-05 | |
使用EMR-CLI自定义部署Gateway环境 | E-MapReduce提供基于阿里云ECS部署Gateway环境的工具EMR-CLI，您可以灵活创建ECS实例并基于EMR-CLI快速部署Gateway环境。 | 2022-08-05 |
2022年7月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
EMR Doctor | E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。 | 2022-07-25 | |
使用ECI弹性调度Flink作业 | 使用阿里云弹性容器实例（Elastic Container Instance）调度Flink作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。介绍EMR on ACK上的Flink集群如何使用ECI弹性调度作业。 | 2022-07-18 |
2022年6月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
数据湖集群 | E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。 | 2022-06-01 | |
Spark集群关联RSS | RSS（EMR Remote Shuffle Service）是E-MapReduce（简称EMR）为了提升Shuffle稳定性和性能推出的扩展组件，优化了Spark原生的Shuffle。EMR on ACK上的Spark集群支持关联RSS。 | 2022-06-09 |
2022年5月
功能名称 | 功能概述 | 发布时间 | 相关文档 |
内存管理 | 介绍StarRocks BE（Backend）中内存使用分类、内存配置以及如何查看内存使用。 | 2022-05-10 |