MapReduce
本文为您介绍MaxCompute支持的MapReduce编程接口及使用限制。MaxCompute提供个两版本的MapReduce编程接口：MaxCompute MapReduce：MaxCompute的原生接口，执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce（MR2）：对...
MapReduce API
本文为您介绍MapReduce API。PyODPS DataFrame支持MapReduce API，您可以分别编写 map 和 reduce 函数（map_reduce 可以只有 mapper 或者 reducer 过程）。wordcount 的示例如下。encoding=utf-8>>>from odps import ODPS>>>from odps ...
开发MapReduce
本文为您介绍如何在MaxCompute Studio上开发MapReduce，包括编写MapReduce、调试MapReduce、打包、上传和运行MapReduce。前提条件 您需要完成以下操作：已连接MaxCompute项目。更多连接MaxCompute项目操作，请参见 管理项目连接。已创建...
MapReduce模型
MapReduce模型是Map模型的扩展，新增Reduce接口，需要实现MapReduceJobProcessor。背景信息 MapReduce模型只有一个Reduce，所有子任务完成后会执行Reduce方法，可以在Reduce方法中返回该任务示例的执行结果，作为工作流的上下游数据传递。...
MapReduce模型
MapReduce模型是SchedulerX自主研发的轻量级分布式跑批模型。通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入...
MapReduce模型
MapReduce模型是SchedulerX自主研发的轻量级分布式跑批模型。通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入...
MapReduce常见问题
MapReduce如何实现排序？MapReduce中的Backups是什么？开发MapReduce 开发MapReduce时，如何在命令行传入多个资源？在Main方法中如何判断一个表为空表？在MaxCompute MapReduce中，如何设置Java代码，才能打印出日志？结果表中会保留两个...
Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
MapReduce开发手册
本文以EMR-3.27.0集群为例，通过以下示例为您介绍如何在E-MapReduce集群中开发MR作业。在MapReduce中使用OSS 在MapReduce中读写OSS，需要配置如下参数。说明 请确保在代码运行环境设置了环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_...
MapReduce作业提交
本文向您介绍如何使用Jar命令在MaxCompute客户端运行和提交MapReduce作业。MaxCompute客户端提供Jar命令用于运行MapReduce作业，举例如下。jar-conf \home\admin\myconf-resources a.txt,example.jar-classpath.\lib\example.jar:.\other_...
E-MapReduce(EMR)
E-MapReduce(EMR)
可视化MapReduce模型
可视化MapReduce模型在MapReduce模型的基础上，新增了可视化可运维的能力。您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时...
可视化MapReduce模型
可视化MapReduce模型在MapReduce模型的基础上，新增了可视化可运维的能力。您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时...
E-MapReduce创建失败
更多信息 创建失败的E-MapReduce集群，您可以进入集群控制台，查看节点管理下是否是存在已创建的节点。如果存在，对于包年包月集群，您可以点击ECS节点ID，进入ECS控制台，通过 包年包月转按量计费 将创建出的ECS节点释放掉，对于按量计费...
使用MapReduce处理JindoFS上的数据
本文介绍如何使用MapReduce读写JindoFS上的数据。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs jfs.namespaces.emr-jfs.oss.uri=oss:/oss-bucket/oss-dir jfs.namespaces....
E-MapReduce数据迁移
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
扩展MapReduce（MR2）
相比于传统的MapReudce，MaxCompute提供的扩展MapReduce模型（简称MR2）改变了底层的调度和IO模型，可避免作业时冗余的IO操作。与MaxCompute相比，MR2在Map、Reduce等函数编写方式上基本一致，较大的不同点发生在执行作业时，示例请参见 ...
使用E-Mapreduce访问
本文介绍如何通过E-Mapreduce访问文件引擎。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、...
E-MapReduce快速入门
本文为您介绍如何通过阿里云账号登录E-MapReduce（简称EMR）控制台，快速创建一个DataLake集群并执行作业。...说明 根据阿里云ECS的规则，您在购买按量付费实例时，需要保证阿里云...常见问题 了解使用阿里云E-MapReduce的常见问题：常见问题。
E-MapReduce数据迁移方案
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
E-MapReduce服务等级协议（SLA）
本服务等级协议（Service Level Agreement，简称“SLA”）规定了阿里云向客户提供的E-MapReduce（简称“EMR”）的服务可用性等级指标及赔偿方案。服务等级协议详情请参见 E-MapReduce服务等级协议。
E-MapReduce Workflow服务等级协议（SLA）
E-MapReduce Workflow服务等级协议（SLA）的详情，请参见 E-MapReduce Workflow服务等级协议。
E-MapReduce Serverless服务等级协议（SLA）
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
MapReduce支持SQL运行时执行模式
MaxCompute新增支持将MapReduce作业指定为SQL运行时（Runtime）执行模式，基于SQL运行时，MapReduce作业可以应用SQL引擎的各种新特性，实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。背景信息 ...
E-MapReduce的审计事件
开源大数据平台E-MapReduce已与操作审计服务集成，您可以在操作审计中查询用户操作E-MapReduce产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计...
卸载并释放E-MapReduce HDFS使用的云盘
本文介绍在配置E-MapReduce完成后，如何卸载并释放E-MapReduce HDFS服务使用的云盘。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。已配置E-MapReduce使用 文件存储 HDFS 版。具体操作，请参见 配置E-MapReduce服务使用...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业...架构图 方案详情 详情请参见 E-MapReduce弹性低成本离线大数据分析最佳实践。icmsDocProps={'productMethod':'created','language':'zh-CN',};
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。...架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'productMethod':'created','language':'zh-CN',};
使用E-MapReduce进行MySQL Binlog日志准实时传输
本文介绍如何利用阿里云SLS插件功能和E-MapReduce集群进行MySQL Binlog的准实时传输。前提条件 已在E-MapReduce上创建Hadoop集群，详情请参见 创建集群。已创建MySQL类型的数据库（例如RDS或DRDS）。MySQL必须开启Binlog，且Binlog必须为...
使用E-MapReduce采集Kafka客户端Metrics数据
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
自建Hive数据仓库迁移到阿里云E-MapReduce
深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。安全 E-MapReduce整合了阿里云RAM资源权限管理系统，通过主子账号对服务...
MapReduce错误码（ODPS-07CCCCX）
本文为您介绍MapReduce错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-07CCCCX:通用描述-上下文相关说明 MapReduce错误包含META（CCCC段为1000~1999）、PARSER（CCCC段为2000~2999）、INTERNAL（CCCC段为3000~3999...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
使用Prometheus监控E-MapReduce
本文介绍如何使用Prometheus监控E-MapReduce（简称EMR）。前提条件 创建EMR集群，具体操作，请参见 创建集群。使用限制 目前仅Prometheus实例 for ECS类型实例支持该组件接入。步骤一：开启Exporter端口 创建完EMR集群后，系统会默认在ECS...
使用Prometheus监控E-MapReduce
本文介绍如何使用Prometheus监控E-MapReduce（简称EMR）。前提条件 创建EMR集群，具体操作，请参见 创建集群。使用限制 目前仅Prometheus实例 for ECS类型实例支持该组件接入。步骤一：开启Exporter端口 创建完EMR集群后，系统会默认在ECS...
- 产品推荐
- 这些文档可能帮助您