E-Mapreduce使用技巧-E-Mapreduce使用技巧文档介绍内容-阿里云

为RAM用户授权

权限策略/角色 E-MapReduce使用的策略如下。策略名称描述包含的权限 AliyunEMRFullAccess E-MapReduce管理员权限 EMR on ECS和EMR on ACK的所有权限。AliyunEMRDevelopAccess E-MapReduce开发者权限除集群的创建和释放等权限外的所有...

卸载并释放E-MapReduce HDFS使用的云盘

已配置E-MapReduce使用 文件存储 HDFS 版。具体操作，请参见配置E-MapReduce服务使用文件存储 HDFS 版。在卸载磁盘前，请停止E-MapReduce集群中的所有服务，等到卸载磁盘操作完成后再启动。背景信息当E-MapReduce已经成功运行在阿里云 ...

OSS参考使用说明

E-MapReduce使用Multipart方式向OSS上传大文件。当作业异常中断后，OSS中会残留作业的部分结果数据，需要您手动删掉。此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片...

快速入门

如果您是初次使用E-MapReduce，请参见快速入门文档，以帮助您快速了解如何购买和使用E-MapReduce。标题 EMR on ECS EMR on ECS快速入门 E-MapReduce快速入门 EMR on ACK快速入门 EMR Serverless StarRocks 快速使用EMR Serverless ...

阿里云账号角色授权

首次使用E-MapReduce服务时，您需要使用阿里云账号为E-MapReduce服务授权名为AliyunEMRDefaultRole、AliyunECSInstanceForEMRRole或AliyunEmrEcsDefaultRole的服务角色。授权成功后，您可以在RAM控制台上查看角色，并为角色挂载策略。角色...

基本概念

本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例在E...

Python使用说明

E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...

管理用户

本文为您介绍如何通过E-MapReduce（简称EMR）的用户管理功能，管理集群中的EMR用户。背景信息 EMR用户信息存储在集群自带的OpenLDAP中，主要用于E-MapReduce集群内的身份认证。EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户...

弹性伸缩概述

弹性伸缩是E-MapReduce提供的能够根据业务需求和策略自动调整计算能力（即节点数量）的功能。您可以为节点组设置按时间或按负载的伸缩策略，在业务需求增长时，弹性伸缩自动为节点组增加节点，来保证计算能力；在业务需求下降时，弹性伸缩...

使用SSL加密Kafka链接

配置SSL功能 E-MapReduce Kafka集群提供以下两种配置SSL的方式：使用默认证书配置SSL：使用E-MapReduce默认创建的证书和默认配置方式快速启用SSL功能。自定义配置SSL：使用自定义证书和配置值启用SSL功能。E-MapReduce通过 server....

克隆集群

当您需要基于已有集群快速创建一个新的集群时，您可以使用E-MapReduce的克隆集群功能。前提条件已创建数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和自定义场景（Custom）的集群，详情请参见 ...

ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...

E-MapReduce环境提供了MetaService服务，MetaService服务是一种特殊的ECS应用角色。EMR 3.32及之前版本和EMR 4.5及之前版本，创建时会自动绑定该角色。在EMR集群之上运行的应用程序通过该角色来获得与其他云服务交互的权限，实现以免...

计费概述

如果您想继续使用，可以在释放前手动续费，或开通自动续费，延长ECS和E-MapReduce的使用时间。续费说明欠费说明按量付费的集群欠费后有停机风险，系统会提醒或通知您。请及时续费，避免对您的服务造成影响。欠费说明退款说明为您介绍...

Hudi MetaStore使用说明

本文为您介绍如何使用E-MapReduce的Hudi MetaStore。背景信息 Hudi每次操作数据都会新增时间线（instant），查询时需要读取所有时间线元数据，以获得在该时间点上的有效分区或文件，其中Partition Listing和File Listing涉及大量IO操作，...

元数据管理常见问题

本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....

使用限制

您在使用E-MapReduce（简称EMR）过程中，某些非产品预期的操作可能会导致集群的不稳定甚至集群的不可用，为了避免这种问题，请您认真阅读本文。本文为您介绍了EMR的一些使用限制。重要在使用EMR时，所有操作都需要在EMR控制台上执行，通常...

Hive访问云HBase数据

阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件已创建DataLake集群。详细步骤，请参见创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...

YARN高安全特性使用指南

背景信息创建集群时，如果打开 Kerberos身份认证开关，则创建的集群为高安全集群，可以使用E-MapReduce（简称EMR）提供的高安全特性。在高安全集群中YARN服务默认开启了以下特性，对使用行为做了一定的限制，来保证集群的数据安全：...

快速入门

本文主要通过示例为您介绍，如何快速使用E-MapReduce上的Doris集群进行基本的建表和查询操作。前提条件已创建Doris集群，详情请参见创建Doris集群。使用示例使用SSH方式登录集群，详情请参见登录集群。主节点的公网IP地址：需要您在...

支持倚天云服务器

阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户全网用户新增功能/规格阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...

选型配置说明

选择合适的集群是E-MapReduce产品使用的第一步。E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明具体各集群类型支持...

存储说明

本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息关于存储的类型、性能和相关的限制信息，请参见什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...

常见问题

本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路当发现索引失败时，一般遵循如下排错思路：对于批量索引如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...

扩容磁盘

使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不支持系统盘扩容。仅云盘类型（ESSD云盘、SSD云盘或高效云盘）的数据盘支持扩容，本地盘无法进行扩容。仅节点组状态为运行中时才可以进行磁盘扩容操作。Hadoop集群类型中通过弹性伸缩...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到文件存储 HDFS 版文件系统。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

Kafka Indexing Service

本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。前提条件已创建E-MapReduce的Druid集群和Kafka集群，详情请参见创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache ...

常见问题

E-MapReduce默认使用HDFS作为Alluxio的UFS，对于OSS目录建议作为挂载点来使用。您可以使用如下代码，对OSS上的数据进行缓存加速。命令示例如下所示。alluxio fs mount-option fs.oss.accessKeyId=<OSS_ACCESS_KEY_ID>\-option fs.oss....

E-MapReduce数据迁移方案

新旧集群网络打通线下IDC自建Hadoop 自建Hadoop迁移到E-MapReduce可以通过OSS进行过渡，或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离，E-...

数据开发常见问题

如何使用阿里云E-MapReduce HDFS的Balancer功能以及参数调优？如果E-MapReduce控制台上没有自定义配置选项，该如何处理？环境变量过多或者参数值过长时，为什么提交作业失败？问题现象：提交作业时，报错信息如下。Message:FailedReason:...

常见问题

E-MapReduce支持使用Spark on YARN以及Spark on Kubernetes模式提交作业，不支持Standalone和Mesos模式。如何减少Spark2命令行工具的日志输出？EMR DataLake集群选择Spark2服务后，使用spark-sql和spark-shell等命令行工具时默认输出INFO...

示例项目使用说明

注意在E-MapReduce上使用时，请将测试数据和依赖jar包上传到OSS中，路径规则遵循OSSURI定义。如果集群中使用，可以放在机器本地。本地运行这里主要介绍如何在本地运行Spark程序访问阿里云数据源，例如OSS等。如果希望本地调试运行，需要...

E-MapReduce本地盘实例大规模数据集测试

本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...

创建阈值报警规则

云监控（CloudMonitor）是阿里云的一种监控告警服务，当您需要监控E-MapReduce资源的使用和运行情况时，可以通过创建阈值报警规则，实现监控项超过设定阈值后自动发送报警通知的功能，帮助您及时了解监控数据异常并快速进行处理。...

EMR-3.22.x版本说明

MapReduce集群外访问E-MapReduce JindoFS 的文件系统的能力，通过客户端可以访问Block模式的Namespace，但外部客户端不能利用到E-MapReduce JindoFS在E-MapReduce集群内部构建的数据缓存，性能上相对于E-MapReduce集群内部使用也有一定的...

常见问题

当您使用阿里云E-MapReduce（简称EMR）时，可以根据本文查找对应的问题场景和解决方案。计费常见问题集群管理常见问题组件常见问题：HDFS常见问题 YARN常见问题 Hudi常见问题 Hive常见问题 HBase常见问题 Kudu常见问题 Spark常见问题 ...

使用JindoFS作为HBase的底层存储

背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置以EMR-3.36.0版本为例，创建...

初始化

环境准备在Eclipse项目中使用阿里云E-MapReduce OpenAPI Java SDK。请确保代码运行环境设置了环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体配置方法，请参见配置方案。创建一个Maven工程，添加Maven依赖...

E-MapReduce快速入门

本文为您介绍如何通过阿里云账号登录E-MapReduce（简称EMR）控制台，快速创建一个DataLake集群并执行作业。...说明根据阿里云ECS的规则，您在购买按量付费实例时，需要保证阿里云...常见问题了解使用阿里云E-MapReduce的常见问题：常见问题。

退款说明

本文介绍阿里云E-MapReduce的退款规则和退款方式。退款规则与方式计费方式退款规则退款方式包年包月包年包月的集群在购买时已经根据购买时长预先支付了费用。在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明释放ECS实例...

E-Mapreduce使用技巧

新品推荐