什么是EMR on ECS

产品架构

EMR主要由四部分组成，分别为集成的阿里云产品、开源组件、自研组件和集群管理。其中EMR提供的组件类型及使用场景，请参见组件概览和应用场景。

集成的阿里云产品

• EMR 可以部署在阿里云 ECS 上。

• 数据可以存储在阿里云 OSS 上。

• EMR 与 DataWorks 集成，您可以在 DataWorks 上使用 EMR 作为作业计算和数据存储引擎。

• EMR Workflow 提供全托管的工作流和任务调度服务。

开源组件

集成 Apache 社区开源大数据组件，涵盖数据集成、数据存储、资源管理、计算引擎、数据开发、数据服务等多个领域，方便您快速搭建高效可靠的数据处理和管理平台。

自研组件

为了让开源大数据组件和服务更好地运行在阿里云基础设施上，EMR 提供以下自研组件：

• OSS-HDFS：兼容 Hadoop 分布式文件系统接口的对象存储解决方案，支持大数据计算任务通过标准 HDFS 协议直接访问阿里云 OSS 的数据。

• JindoCache：分布式缓存解决方案，通过在内存中缓存数据块，提高数据读取性能，并减少对底层存储系统的压力。

• DLF-Auth：由数据湖构建（DLF, Data Lake Formation）产品提供，可开启 DLF 的数据权限功能。

集群管理

• 快速创建、扩容集群能力，支持弹性伸缩部署。

• 集群配置管理、服务管理，提供节点和服务的可视化运维能力。

• 多维度指标监控、集群日志与分析、监控与报警能力。

产品优势

与自建 Hadoop 集群的详细对比，请参见 EMR与自建Hadoop集群对比优势。

EMR AI 助手

EMR AI 助手是 EMR 提供的智能运维服务。它基于大语言模型连接您的集群，读取集群状态与监控数据后再给出结论，因此诊断和建议基于集群的实际情况，不是通用回答。

核心能力

• 性能诊断：集群出现查询超时、延迟飙升等问题时，AI 助手可以定位原因并给出处理建议。例如提问「最近有哪些慢查询」，AI 助手会列出 Top SQL 并逐条分析瓶颈。

• 健康巡检：按您设定的周期检查集群配置与运行状态，输出巡检报告。

• 主动推送：配置智能日报和告警后，AI 助手持续监控集群，发现问题主动推送到钉钉或飞书，无需人工值守。

• 问答咨询：用自然语言提问即可，支持多轮对话，在一次会话中逐步深入排查问题。

使用方式

AI 助手支持三种接入方式：控制台内的对话窗口、钉钉或飞书群、API 与 SDK。

• 快速上手，请参见 EMR AI助手快速入门。

• 了解完整功能模块与覆盖场景，请参见 EMR AI助手功能介绍。

• 了解版本规格与计费方式，请参见 EMR AI助手包月计费说明。

产品计费

EMR 费用由 EMR 服务费用和 ECS 产品费用组成。如果您在使用 EMR 过程中还用到了其他云产品（如 OSS、DLF、EMR Workflow 等），相关计费规则请参见各产品计费文档：计费概述、计费说明。

EMR on ECS支持的计费方式如下：

• 包年包月：按一定时长购买资源，先付费后使用。通过包年包月，您可以提前预留资源，同时享受价格优惠，帮您节省支出。

• 按量付费：按需开通和释放资源，先使用后付费。通过按量付费，您可以灵活使用，无需提前购买大量资源。

其中节点的公网流量费用与EMR集群使用的计费方式无关，默认使用按量计费。

详细的计费规则，请参见产品计费。

快速开始

• 通过EMR控制台快速创建集群并执行作业，请参见快速创建和使用数据湖分析集群。

• 在DataWorks快速使用EMR集群，完成一站式数据湖开发和治理，请参见入门简介。

• 通过EMR Workflow可视化地管理工作流和任务从而高效构建数据仓库，请参见快速使用EMR Workflow。

FAQ

相关文档

• EMR支持数据湖场景、数据分析场景、实时数据流场景、数据服务场景，具体请参见应用场景。

• 想了解EMR各版本支持的组件情况，请参见各版本支持的组件。

• 想了解EMR集群的运维与监控能力，请参见集群运维和集群监控。