什么是EMR on ECS

EMR on ECS是指EMR在ECS上运行的方式。EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合,使得您可以更加灵活地配置和管理EMR集群,从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS,您可以快速创建、管理和运维EMR集群,同时也能够更加高效地使用计算和存储资源。

前置概念

阅读本文前,您可能需要了解如下概念:

产品优势

EMR为您提供了相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务,例如Hadoop、Spark、Flink、Kafka和HBase服务。

  • 100%采用社区开源组件,适配并优化开源组件,性能远高于开源版本。

  • 基于时间的弹性伸缩能力,抢占式实例可进一步降低成本。

  • 解耦了计算与存储之间的绑定关系,实现了资源的弹性利用。

  • 分钟级别创建和扩容集群,无需手动部署和启动服务。

产品计费

EMR on ECS支持的计费方式如下:

  • 包年包月:按一定时长购买资源,先付费后使用。

  • 按量计费:按需开通和释放资源,先使用后付费。

详细的计费规则,请参见计费概述

与自建Hadoop集群对比

开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。

对比项

阿里云EMR

自建Hadoop集群

成本

支持按量和包年包月付费方式,集群资源支持灵活调整,数据分层存储,资源使用率高。无额外软件License费用。

需提前预估资源,且资源相对固定,资源使用率低。采用Hadoop发行版,需额外支付License费用。

性能

较开源版本性能大幅提升。

采用开源社区版本,性能需自行优化。

易用性

分钟级别启动Hadoop集群,敏捷响应业务需求。

采购服务器,部署Hadoop生态组件,周期长达数周。

弹性

可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构,轻松分别扩展计算和存储资源。

计算和存储耦合,资源相对固定,无法弹性调整资源。

安全

支持企业级多租户资源管理,支持对表、列、行级别的权限控制和日志审计,支持数据加密。

多租户管理能力需自行配置,能力不完善,无法满足企业级需求。

可靠

大规模、企业级环境的检验,随开源版本升级,并经过专业的兼容性验证测试,提供优于社区版本的使用体验。

需自行更新和升级开源版本,验证各组件版本兼容性,自行修复社区bug。

服务

专业和资深大数据专家技术服务团队提供售后支持。

社区版本无服务支持,Hadoop发行版,需额外支付License和服务费用。