EMR on ECS是指EMR在ECS上运行的方式。EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合,使得您可以更加灵活地配置和管理EMR集群,从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS,您可以快速创建、管理和运维EMR集群,同时也能够更加高效地使用计算和存储资源。
前置概念
阅读本文前,您可能需要了解如下概念:
产品优势
EMR为您提供了相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务,例如Hadoop、Spark、Flink、Kafka和HBase服务。
100%采用社区开源组件,适配并优化开源组件,性能远高于开源版本。
基于时间的弹性伸缩能力,抢占式实例可进一步降低成本。
解耦了计算与存储之间的绑定关系,实现了资源的弹性利用。
分钟级别创建和扩容集群,无需手动部署和启动服务。
产品计费
EMR on ECS支持的计费方式如下:
详细的计费规则,请参见计费概述。
与自建Hadoop集群对比
开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。
对比项 | 阿里云EMR | 自建Hadoop集群 |
成本 | 支持按量和包年包月付费方式,集群资源支持灵活调整,数据分层存储,资源使用率高。无额外软件License费用。 | 需提前预估资源,且资源相对固定,资源使用率低。采用Hadoop发行版,需额外支付License费用。 |
性能 | 较开源版本性能大幅提升。 | 采用开源社区版本,性能需自行优化。 |
易用性 | 分钟级别启动Hadoop集群,敏捷响应业务需求。 | 采购服务器,部署Hadoop生态组件,周期长达数周。 |
弹性 | 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构,轻松分别扩展计算和存储资源。 | 计算和存储耦合,资源相对固定,无法弹性调整资源。 |
安全 | 支持企业级多租户资源管理,支持对表、列、行级别的权限控制和日志审计,支持数据加密。 | 多租户管理能力需自行配置,能力不完善,无法满足企业级需求。 |
可靠 | 大规模、企业级环境的检验,随开源版本升级,并经过专业的兼容性验证测试,提供优于社区版本的使用体验。 | 需自行更新和升级开源版本,验证各组件版本兼容性,自行修复社区bug。 |
服务 | 专业和资深大数据专家技术服务团队提供售后支持。 | 社区版本无服务支持,Hadoop发行版,需额外支付License和服务费用。 |