Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
兼容版本SDK概述
本文为您介绍MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性。MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性的详细列表，如下表所示。类型 接口 是否兼容 Mapper void map(KEYIN key,VALUEIN value,org.apache.hadoop....
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
MapReduce常见问题
MaxCompute MapReduce与Hadoop MapReduce API有一定差别，但整体风格一致。您需要修改Hadoop的源码，并在MaxCompute MapReduce SDK下编译通过后，才能在MaxCompute上运行。MapReduce如何实现排序？排序代码如下。设置排序的字段（这里根据i...
计算设置概述
是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-MapReduce3.x Hadoop与E-MapReduce5.x Hadoopp 基于阿里云E-MapReduce(EMR)构建的在阿里云云服务器ECS上的开源...
使用MapReduce处理JindoFS上的数据
具体命令如下：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort<in><out>替换输入和输出路径，即可处理JindoFS上的数据：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
Zeppelin常见问题
E-MapReduce的Hadoop集群上的Zeppelin与开源版本一致，没有对接LDAP。如何设置Zeppelin Note的权限？您可以在Zeppelin页面，单击 图标，设置权限。Zeppelin执行时无法正常启动Interpreter 影响版本：EMR-5.6版本。报错现象：报错信息如下。...
准备工作
环境准备 已创建阿里云E-MapReduce的Hadoop集群。具体操作，请参见 创建集群。已下载E-MapReduce的最新 SDK，SDK包的名称格式为emr-datasources_shaded_*.jar，emr-datasources_shaded_*.jar中包含Tablestore相关的Spark批流Source和Sink。...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
ZKFC Mismatched address异常
8021 问题原因 该问题通常说明高可用集群中的ZKFC在ZooKeeper中存储的NameNode的信息与Hadoop配置文件中的不匹配，导致HDFS无法选出Active NameNode。存储在ZKFC中的端口是8020，而实际的NameNode ServiceRPC的端口是8021。早期部分EMR版本...
OSS/OSS-HDFS快速入门
Jindo CLI命令 jindo fs-ls oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ Jindo CLI命令访问OSS/OSS-HDFS的方式与Hadoop Shell方式类似。此外，还支持了更多的功能，比如归档、缓存、错误分析等，具体信息请参见 通过Jindo CLI...
Trino扩缩容
如果您的集群是Trino与Hadoop等组件混合部署的，在扩容之前需要谨慎考虑。扩容前准备 Trino在扩容时能够同步组件本身以及绝大部分配置项。但是，新增的UDF包、手动替换的JAR包、手动升级的组件（例如JindoSDK）、自行添加的Event Listener...
从OSS迁移数据
{HADOOP_HOME}/bin/hadoop du-h oss:/<accessKeyId>:<accessKeySecret>@<bucket-name>.<endpoint>/test_data 启动Hadoop MapReduce任务（DistCp）将测试数据迁移至文件引擎。{HADOOP_HOME}/bin/hadoop distcp \ oss:/<accessKeyId>:...
使用Druid
对于独立的E-MapReduce Druid集群，如果您需要存放索引数据至一个Hadoop集群的HDFS，请设置两个集群的连通性（详情请参见 与Hadoop集群交互）。在E-MapReduce Druid 配置 页面的 common.runtime 页签，配置如下参数。参数 描述 druid....
常见问题
hadoop jar<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount \-Dalluxio.user.file.writetype.default=CACHE_THROUGH \-libjars/<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar \<path1><path2>...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
管理用户
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。创建用户 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，创建新账号。opt/apps/hue/build/env/bin/hue createsuperuser 输入新用户名、电子邮件，然后输入密码...
添加配置
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。操作步骤 进入详情页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，...
数据迁移
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
调整YARN队列
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。操作步骤 进入详情页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，...
在文件存储 HDFS 版上使用Apache Tez
mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./hadoop-...
Spark对接Kafka
本文介绍如何在E-MapReduce的Hadoop集群运行Spark Streaming作业，处理Kafka集群的数据。背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-...
使用JindoTable实现对OSS上表或分区的归档和解冻
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 该目录只在MapReduce作业执行时使用，作为...
初始化Kerberos环境
utility-1 30-hdfs-JOURNALNODE]#hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 1 WARNING:Use"yarn jar"to launch YARN applications.Number of Maps=10 Samples per Map=1 Wrote input...
Hue连接开启LDAP认证的引擎
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。步骤一：创建LDAP代理认证用户 当执行引擎开启LDAP认证后，Hue访问执行引擎时将会被LDAP认证拦截。您需要创建一个LDAP代理认证用户，Hue使用该用户通过引擎的LDAP认证，并...
MapReduce开发手册
javac-classpath<HADOOP_HOME>/share/hadoop/common/hadoop-common-X.X.X.jar:<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-client-core-X.X.X.jar:<HADOOP_HOME>/share/hadoop/common/lib/commons-cli-1.2.jar-d wordcount_...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
在文件存储 HDFS 版上使用Apache Spark
hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=10240 \-D mapreduce.randomtextwriter.bytespermap=1024 \ dfs:/f-xxxxxxx....
在文件存储 HDFS 版上使用Apache Flink
{HADOOP_HOME}/bin/hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=10240 \-D mapreduce.randomtextwriter.bytespermap=1024 \ dfs...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar teragen-Dmapred.map.tasks=1000 10737418240 jfs:/your-namespace/terasort/input hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-...
Kafka Indexing Service
配置Druid集群与Kafka集群交互 E-MapReduce Druid集群与Kafka集群交互的配置方式与Hadoop集群类似，均需要设置连通性和Hosts。对于非安全Kafka集群，请按照以下步骤操作：确保集群间能够通信（两个集群在一个安全组下，或两个集群在不同...
配置弹性伸缩（仅Hadoop集群类型）
当您的业务量需求不断波动时，建议您开启弹性伸缩功能并配置相应的伸缩规则，以便于E-MapReduce（简称EMR）可以按业务量波动增加或减少Task节点。确保作业完成的同时，可以节省成本。本文为您介绍如何在EMR控制台配置弹性伸缩。前提条件 已...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
实例类型
E-MapReduce集群由多个不同类型的实例节点组成，包括主实例节点（Master）、核心实例节点（Core）和计算实例节点（Task）。不同实例节点上部署的服务进程不同，负责完成的任务也不同。例如：主实例节点（Master）：部署Hadoop HDFS的...
自建Hive数据仓库迁移到阿里云E-MapReduce
深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。安全 E-MapReduce整合了阿里云RAM资源权限管理系统，通过主子账号对服务...
SmartData 3.2.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、...JindoFS生态支持 Spark写入OSS文件时，支持配置 spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false，允许作业不生成_SUCCESS 文件。
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
使用说明
本文介绍如何在E-MapReduce上配置及访问Hue，通过使用Hue可以在浏览器端与Hadoop集群进行交互来分析处理数据。前提条件 已设置安全组访问。重要 设置安全组规则时要针对有限的IP范围。禁止在配置的时候对0.0.0.0/0开放规则。已打开8888端口...
- 产品推荐
- 这些文档可能帮助您