MaxCompute MR节点的使用_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

MaxCompute提供MapReduce编程接口。您可以通过创建MaxCompute MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的大规模数据集。

前提条件

（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见为工作空间添加空间成员。
说明
如果您使用的是主账号，则忽略该添加操作。
已开发创建项目目录，详情请参见项目目录。
上传并发布使用的资源，详情请参见资源管理。
创建MaxCompute MR节点，详情请参见创建任务节点。

说明

您需要上传并发布使用的资源后，再创建MaxCompute MR节点。

背景信息

MapReduce是一个分布式计算框架，它将用户编写的业务逻辑代码与内置组件结合，形成一个完整的分布式程序，并发运行在一个Hadoop集群上。MaxCompute提供两个版本的MapReduce编程接口：详情请参见MapReduce。

MaxCompute MapReduce：MaxCompute的原生接口，执行速度快、开发快捷、不暴露文件系统。
MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。

在DataWorks中，您可以通过MaxCompute MR节点实现MaxCompute MapReduce任务的调度运行，以及与其他作业的集成操作。

使用限制

MaxCompute MR节点的使用限制请参见使用限制。

操作步骤

在MaxCompute MR节点编辑页面，执行如下开发操作。
开发MR代码
以下以一个简单示例为您介绍MaxCompute MR节点的使用：统计wc_in表中各字符串出现的次数，并将结果写入wc_out表。
1. 上传并提交、发布资源mapreduce example.jar，操作详情请参见资源管理。
  说明
  关于mapreduce example.jar包内部的实现逻辑请参见WordCount示例。
2. 在MaxCompute MR节点输入以下示例代码。
```
--创建输入表。
CREATE TABLE IF NOT EXISTS wc_in (key STRING, VALUE STRING);
--创建输出表。
CREATE TABLE IF NOT EXISTS wc_out (key STRING, cnt BIGINT);
    ---创建系统dual。
    DROP TABLE IF EXISTS dual;
    CREATE TABLE dual(id BIGINT); --如果工作空间不存在该伪表，则需要创建并初始化数据。
    ---向系统伪表初始化数据。
    INSERT OVERWRITE TABLE dual SELECT count(*) FROM dual;
    ---向输入表wc_in插入示例数据。
    INSERT OVERWRITE TABLE wc_in SELECT * FROM (
    SELECT 'project','val_pro' FROM dual 
    UNION ALL 
    SELECT 'problem','val_pro' FROM dual
    UNION ALL 
    SELECT 'package','val_a' FROM dual
    UNION ALL 
    SELECT 'pad','val_a' FROM dual
      ) b;
-- 引用刚刚上传的JAR包资源，可以在资源管理栏中找到该资源，右键引用资源。
--@resource_reference{"mapreduce-examples.jar"}
jar -resources mapreduce-examples.jar -classpath ./mapreduce-examples.jar com.aliyun.odps.mapred.open.example.WordCount wc_in wc_out
```
  说明
  代码说明如下：
  --@resource_reference：您可以在资源管理中右键单击资源名称，选择引用资源，即可自动产生该条语句。
  -resources：引用到的JAR资源文件名。
  -classpath：JAR包的路径。由于已经引用了资源，此处路径统一为./下的JAR包。
  com.aliyun.odps.mapred.open.example.WordCount：执行过程调用JAR中的主类，需要和JAR中的主类名称保持一致。
  wc_in：MR的输入表名称，已在上述代码中提前创建。
  wc_out：MR的输出表名称，已在上述代码中提前创建。
  一个MR调用多个JAR资源时，classpath写法为-classpath ./xxxx1.jar,./xxxx2.jar，即两个路径之间用英文逗号（,）分隔。
执行MR任务
1. 在调试配置的计算资源中，选择配置计算资源、计算配额和DataWorks资源组。
  说明
  访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见网络连通方案。
2. 在工具栏的参数对话框中选择已创建的MaxCompute数据源，单击运行MR任务。
（可选）查询结果
在MaxCompute SQL节点中查询输出表wc_out的数据。
```
SELECT * FROM wc_out;
```
返回结果：
```
+------------+------------+
| key        | cnt        |
+------------+------------+
| package    | 1          |
| pad        | 1          |
| problem    | 1          |
| project    | 1          |
| val_a      | 2          |
| val_pro    | 2          |
+------------+------------+
```
如需定期执行节点任务，请根据业务需求配置调度信息。配置详情请参见调度配置。
节点任务配置完成后，需对节点进行发布。详情请参见节点发布。
任务发布后，您可以在运维中心查看周期任务的运行情况。详情请参见运维中心入门。

前提条件

背景信息

使用限制

操作步骤

开发MR代码

执行MR任务

（可选）查询结果

相关文档