EMR on ECS
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
集群管理 |
创建集群 |
您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。 |
创建集群 |
|
释放集群 |
在完成EMR集群任务后及时释放集群，可以释放资源并避免不必要的费用。 |
释放集群 | |
|
查看集群信息 |
查看您账号下拥有的集群概况和单个集群的详情。 |
查看集群列表与详情 | |
|
登录集群 |
通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。 |
登录集群 | |
|
集群类型 |
阿里云EMR提供多种集群类型，包括DataLake、OLAP、DataFlow、DataServing等，旨在为大数据处理和分析提供强大、灵活和高效的计算资源。 |
||
|
节点管理 |
节点组管理 |
节点组是您使用阿里云E-MapReduece服务对集群节点进行管理的核心单元，通常是由相同规格的ECS实例组成。 |
管理节点组 |
|
节点组扩容 |
当E-MapReduce集群计算资源或存储资源不足时，您可以通过水平扩展Core节点和Task节点来满足需求。 |
扩容集群 | |
|
节点组缩容 |
当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。 |
缩容集群 | |
|
节点组磁盘扩容 |
当E-MapReduce集群的数据存储空间不足时，您可以进行磁盘扩容。 |
扩容磁盘 | |
|
升级节点配置 |
当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。 |
升级节点配置 | |
|
查看节点健康状态 |
节点健康状态展示了当前节点的运行状态是否正常，它是由多个健康检查项结果汇总而成的。 |
查看节点健康状态 | |
|
服务管理 |
新增服务 |
支持在集群成功创建后，新增未安装的服务。 |
新增服务 |
|
重启服务 |
当配置项修改后，需要重启对应的服务使配置生效，或当某个服务出现故障或异常时，重启服务可以尝试修复服务的问题，并恢复其正常运行状态。 |
重启服务 | |
|
管理配置项 |
支持通过控制台的方式修改、添加或查看集群中服务的配置项。 |
管理配置项 | |
|
回滚配置 |
支持通过控制台对各服务配置项的变更操作进行回滚。 |
回滚配置 | |
|
配置自定义软件 |
支持在集群创建时使用软件自定义配置功能，修改现有配置或添加新的配置项。 |
配置自定义软件 | |
|
导出和导入服务配置 |
支持以XML或JSON格式导出服务配置，便于备份、迁移和恢复EMR服务的配置。导出的JSON格式的服务配置可以导入新集群，作为新集群的预设配置。 |
导出和导入服务配置 | |
|
访问链接与端口 |
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。 |
访问链接与端口 | |
|
查看集群服务信息 |
可以查看集群中已安装服务（例如，HDFS和YARN等）的运行状态，组件列表及配置项信息。 |
查看集群服务信息 | |
|
查看服务健康状态 |
健康状态展示当前服务的运行状态是否正常，它是由多个健康检查项结果汇总而成的。 |
查看服务和组件健康状态 | |
|
组件管理 |
组件操作 |
阿里云EMR集群集成了一系列大数据服务，用于处理、分析和存储大规模数据，并提供了组件的基础操作以及高阶实践。 |
组件操作 |
|
查看组件部署信息 |
支持查看各节点上服务组件的部署信息。 |
查看组件部署信息 | |
|
查看组件健康状态 |
健康状态展示当前组件的运行状态是否正常，它是由多个健康检查项结果汇总而成的。 |
查看服务和组件健康状态 | |
|
用户管理 |
添加用户 |
支持添加已有的RAM用户来管理EMR集群或其他云服务资源。 |
管理用户 |
|
删除用户 |
支持通过控制台删除EMR集群中已有的用户。 |
管理用户 | |
|
重置用户密码 |
可以修改已添加用户的密码。 |
管理用户 | |
|
下载认证凭据 |
下载认证凭据功能仅支持开启高安全的集群，通过该功能，您可以下载目标用户的Keytab文件。 |
管理用户 | |
|
弹性伸缩 |
添加弹性伸缩规则 |
随着业务负载需求的持续波动，可启用的弹性伸缩功能，并设定相应的伸缩策略。在面对业务量高峰或低谷时，EMR能够自动适配性地增加或减少Task节点数量，以确保任务高效处理的同时，最大限度地优化资源使用，降低运营成本。 |
添加弹性伸缩规则 |
|
查看弹性伸缩活动 |
查看集群节点变化情况及弹性伸缩活动的执行记录。 |
查看弹性伸缩活动 | |
|
查看集群资源概览 |
提供集群资源变化分析和弹性伸缩规则推荐。 |
查看集群资源概览 | |
|
可视化弹性成本分析 |
可多维度地了解集群资源使用量及成本分布情况，从而协助您评估集群弹性成本节省效果，优化集群资源利用。 |
可视化弹性成本分析 | |
|
脚本操作 |
引导脚本管理 |
可以安装您需要的第三方软件或者修改集群运行环境。 |
管理引导操作 |
|
手动脚本管理 |
集群创建完成后，您可以通过手动执行脚本功能批量选择节点来运行指定脚本，以实现个性化需求。 |
手动执行脚本 | |
|
操作历史 |
操作历史列表展示 |
展示集群的操作记录。 |
- |
|
监控报警 |
集群监控 |
查看各服务指标的详细信息。 |
集群指标 |
|
报警管理 |
当您需要监控各服务资源的使用情况时，可以创建报警规则。如果资源的监控指标达到报警条件，云监控自动发送报警通知，帮助您及时得知异群的异常情况，并快速处理。 |
管理报警 | |
|
日志管理 |
日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。 |
管理日志 | |
|
健康检查 |
实时检测 |
EMR Doctor实时检测按5分钟为粒度对集群的实时状态进行检查，您可以通过实时检测了解集群当前的状态、出现的问题，以及发生问题的原因，并对相关问题进行修复，保证集群运行的稳定性。 |
启动实时检测与分析 |
|
集群日报 |
通过集群的健康检查功能，可以了解当前集群的健康状态，并根据改进建议对集群进行调整，以保持健康的状态。 |
查看集群日报与分析 | |
|
Gateway |
创建Gateway集群 |
Gateway集群不仅支持负载均衡和实现安全隔离，也能够便捷地提交作业至E-MapReduce集群。 |
创建Gateway集群 |
|
配置Gateway集群 |
为了方便部署Gateway环境，E-MapReduce提供了名为EMR-CLI的工具，它基于阿里云ECS来创建实例并部署Gateway环境。 |
使用EMR-CLI自定义部署Gateway环境 |
EMR on ACK
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
集群管理 |
创建集群 |
可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。 |
|
|
释放集群 |
当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。 |
释放集群 | |
|
查看集群信息 |
查看您账号下拥有的集群概况。 |
||
|
集群类型 |
EMR on ACK支持的集群类型。 |
创建集群 | |
|
服务管理 |
重启服务 |
修改配置项后，需要重启对应的服务使配置生效。 |
重启服务 |
|
访问WEB UI |
添加EMR用户后可以访问相应的UI页面。 |
访问Web UI | |
|
管理配置项 |
可以为集群修改和添加配置项。 |
管理配置项 | |
|
作业管理 |
查看作业信息 |
支持查看集群下的作业信息。 |
查看作业列表 |
EMR Serverless
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
Serverless StarRocks |
实例管理 |
通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。 |
|
|
实例升级 |
阿里云EMR Serverless StarRocks支持实例版本的升级，您可以便捷地将实例更新至最新版本，享受性能改进与功能增强。 |
版本升级 | |
|
实例配置 |
EMR Serverless支持通过控制台查询或修改StarRocks BE、FE等组件的参数，以及查看配置的操作历史记录。 |
||
|
监控报警 |
监控报警涵盖了监控报表和告警设置功能，通过对重要的监控指标设置报警规则，您可以实时了解实例的运行状况，及时处理潜在风险，保障实例稳定运行。 |
||
|
诊断分析 |
EMR StarRocks Manager针对您提交的查询（Query）记录提供诊断与分析的能力。 |
查询管理与分析 | |
|
用户和权限管理 |
通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。 |
管理用户及数据授权 | |
|
元数据管理 |
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。 |
查看元数据 | |
|
查询管理 |
通过EMR StarRocks Manager提供的全部查询功能，您可以获取系统的整体查询情况，以便于进行深入分析和管理。 |
查询管理与分析 | |
|
导入任务管理 |
导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。 |
数据导入 |
EMR Workbench
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
EMR Notebook |
工作空间管理 |
通过工作空间，您可以创建和编辑Notebook文件，方便地上传和下载文件，与其他用户共享Notebook和数据，并灵活地管理访问权限。 |
管理工作空间 |
|
数据源管理 |
支持添加数据库，可供当前工作空间中的所有笔记本使用。 |
管理数据库 | |
|
外部集群管理 |
支持添加外部集群，可供当前工作空间内的所有笔记本使用。 |
管理外部集群 | |
|
Notebook笔记本 |
通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言程序的代码的编写、调试和执行。 |
管理笔记本 | |
|
用户管理 |
EMR Notebook中的用户有权限管理当前工作空间及其内容。 |
管理用户 | |
|
EMR Workflow |
工作空间管理 |
您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。 |
管理工作空间 |
|
调度资源组管理 |
调度资源组用于任务的调度运行。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。 |
管理调度资源组 | |
|
项目管理 |
在项目中您可以进行任务的编辑和工作流的调度。 |
创建项目 | |
|
工作流定义管理 |
工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。 |
管理工作流定义 | |
|
工作流实例管理 |
工作流实例是工作流定义的实例化，可以通过手动启动或定时调度生成。当工作流被触发执行时，工作流定义就会实例化成为一个工作流实例。 |
管理工作流实例 | |
|
任务定义管理 |
保存工作流后，您可以对已有的任务定义进行操作。 |
管理任务 | |
|
任务实例管理 |
保存工作流后，您可以对已有的任务实例进行操作。 |
管理任务 | |
|
手动任务定义管理 |
手动任务能够独立于工作流定义创建，仅支持手动运行。 |
管理手动任务 | |
|
手动任务实例管理 |
手动任务实例是手动任务定义的一次具体运行。每当手动任务被人为触发运行时，该手动任务的定义就会实例化为一个手动任务实例。 |
管理手动任务 | |
|
资源中心 |
当在调度过程中需要使用第三方的JAR或者需要自定义脚本时，您可以在资源中心中上传所需文件。 |
资源中心 | |
|
数据源中心 |
支持配置数据源，以满足不同的数据存储和访问需求。 |
数据源中心 | |
|
安全中心 |
安全中心涵盖用户管理、告警实例及告警组管理，以及审计日志，确保了操作的精细权限控制和安全监控。 |