您可以通过创建EMR(E-MapReduce) MR节点,将一个大规模数据集拆分为多个Map任务并行处理,实现大规模数据集的并行运算。

说明
  • 您需要购买DataWorks专业版及以上版本,才可以绑定E-MapReduce计算引擎实例。
  • 您在工作空间配置页面添加E-MapReduce计算引擎实例后,当前页面才会显示EMR目录。
  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. 鼠标悬停至新建,单击EMR > EMR MR

    您也可以打开相应的业务流程,右键单击EMR,选择新建 > EMR MR

  3. 新建节点对话框中,输入节点名称,并选择目标文件夹,单击提交
    说明 节点名称的长度不能超过128个字符。
  4. 在节点编辑页面,选择EMR引擎实例,并编辑节点代码。
  5. 节点调度配置。

    单击节点编辑区域右侧的调度配置,即可进入节点调度配置页面,详情请参见调度配置

  6. 提交节点任务。

    完成调度配置后,单击左上角的保存,提交(提交并解锁)到开发环境。

  7. 发布节点任务。

    具体操作请参见发布管理

  8. 在生产环境测试。

    具体操作请参见周期任务