您可以在计算引擎信息界面将E-MapReduce计算引擎绑定至DataWorks作为DataWorks工作空间的引擎实例。以便可通过DataWorks来执行该引擎类型的计算任务。本文为您介绍如何绑定E-MapReduce引擎。

前提条件

  • 已拥有DataWorks空间管理员权限，详情请参见添加及管理工作空间成员。

    您还需要授予目标账号AliyunEMRFullAccess权限策略，以便目标账号有权限将EMR集群绑定至DataWorks，作为开发EMR任务的引擎环境。授权操作，详情请参见用户、角色与权限概述。

  • 您需要将DataWorks上进行数据开发的用户加入目标工作空间，并配置工作空间成员与集群账号映射，以便可在DataWorks上进行EMR集群账号认证及数据权限控制，后续可使用EMR集群身份在DataWorks上执行任务，并让每个空间成员拥有自己的权限，做到数据权限隔离。添加空间成员，详情请参见为工作空间添加空间成员；配置工作空间成员与集群账号映射，详情请参见配置访问身份的映射关系。
  • 运行EMR作业前，您需要购买一个独享调度资源组，并与当前EMR集群所在的VPC网络连通。购买并配置独享调度资源组，详情请参见新增和使用独享调度资源组。

    独享调度资源组进行初始化，在DataWorks独享调度资源组部署EMR集群的客户端工具并配置，以便顺利执行各类型EMR任务（例如，Hive、Spark、Presto等类型EMR任务）。详情请参见下文引擎绑定的《配置资源初始化》。

背景信息

（必读）请您在操作引擎绑定前务必了解以下内容，这将决定您后续是否可以顺利开展数据开发工作。

使用限制

  • 仅支持使用独享调度资源组在DataWorks运行EMR任务。
  • 您需要拥有AliyunEMRDevelopAccess权限策略才可绑定引擎。授权详情请参见为RAM用户授权。

进入引擎绑定页面

您可以通过以下两种方式进入引擎绑定页面：
  • 方式一：在管理控制台，您可以单击工作空间后操作列的更多图标，选择工作空间配置 > 更多设置页面，进入工作空间配置页面，找到计算引擎详情区域，详情请参见工作空间列表。
  • 方式二：工作空间创建完成后，您可以进入数据开发、数据集成等模块，在顶部菜单栏右侧单击小扳手图标，进入工作空间配置页面，找到计算引擎详情区域。详情请参见进入工作空间配置页面。

绑定E-MapReduce引擎

  1. 在计算引擎信息区域，单击E-MapReduce。
  2. 在E-MapReduce页签下，单击增加实例。
  3. 在新增EMR集群对话框中，配置各项参数。下图以生产环境为例，开发环境界面类似。
    引起绑定
    说明 DataWorks简单模式和标准模式工作空间的配置不同。DataWorks标准模式的工作空间需要分别配置生产环境和开发环境的参数。
    1. 配置访问模式。
      参数描述
      实例显示名称用于定义当前引擎配置在DataWorks作为一个计算引擎实例的显示名称，用于在DataWorks上标识该套引擎配置（类似于该引擎在DataWorks的别名）。

      您可以自定义该显示名称。 名称必须唯一。

      地域该引擎所在地域，默认为当前工作空间所在地域，不可修改。
      访问模式DataWorks提供快捷模式与安全模式两种引擎绑定方式。
      • 快捷模式：适用于对任务执行者无数据权限管控隔离要求的工作空间，将统一使用一个账号进行操作。
      • 安全模式：适用于对任务执行者数据权限有强管控要求的工作空间，通过个人账号与EMR集群权限账号映射的方式，实现使用个人账号提交运行任务，实现数据权限隔离。
        说明 若您的EMR集群开启LDAP，则需要手动配置LDAP映射。开启LDAP，详情请参见DataLake集群配置。
    2. 配置基础信息。
      参数描述
      集群访问身份根据选择的访问模式配置相应访问身份。
      • 快捷模式

        无论是基于开发环境还是生产环境，阿里云主账号及RAM用户在DataWorks运行代码、自动调度任务，都只是下发代码至EMR集群，实际均是通过集群内的Hadoop账号提交任务。

      • 安全模式
        支持标准模式与简单模式工作空间，在开发环境、生产环境指定不同类型账号作为任务提交与运行的账号。
        • 标准模式工作空间
          • 开发环境：默认使用任务执行者提交任务。
          • 生产环境：支持指定以下三种身份提交运行调度任务。
            • 任务责任人所映射集群账号：使用任务责任人映射的Liunx账号或LDAP账号执行任务。
            • 阿里云主账号所映射集群账号：使用阿里云主账号映射的Liunx账号或LDAP账号执行任务。
            • 阿里云子账号所映射集群账号：使用阿里云子账号映射的Liunx账号或LDAP账号执行任务。
        • 简单模式工作空间：支持指定以下三种身份提交运行调度任务。
          • 任务责任人所映射集群账号：使用任务责任人映射的Liunx账号或LDAP账号执行任务。
          • 阿里云主账号所映射集群账号：使用阿里云主账号映射的Liunx账号或LDAP账号执行任务。
          • 阿里云子账号所映射集群账号：使用阿里云子账号映射的Liunx账号或LDAP账号执行任务。
        说明 若您的集群已开启LDAP，并使用安全模式绑定引擎，引擎绑定后请为DataWorks空间成员映射EMR引擎账号，以实现不同身份用户拥有不同权限的目的。开启LDAP，详情请参见DataLake集群配置。
    3. 配置引擎信息。
      参数描述
      集群ID选择需要绑定在DataWorks上运行任务的EMR集群。仅展示当前地域下的DataLake集群。
      YARN资源队列选择当前引擎在DataWorks提交任务时默认的YARN队列。默认为default。关于EMR YARN说明，详情请参见队列基础配置。
      覆盖DataStudio任务队列映射用于配置任务的运行队列规则。
      • 勾选：所有任务将按照YARN资源队列指定的队列运行。
      • 不勾选：所有任务将根据queue参数的配置情况运行。
        • 如果节点的高级设置中配置了queue参数，则按照queue参数的配置运行。
        • 如果节点的高级设置中未配置queue参数，则按照YARN资源队列指定的队列运行。
      说明 如果界面不显示覆盖DataStudio任务队列映射，可能由于您的引擎版本过低，请提交工单进行升级。
      EndpointEMR引擎的Endpoint，不可修改。
    4. 配置资源初始化。
      1. 选择与当前DataWorks工作空间网络连通的独享调度资源组。

        如果您没有可用的独享调度资源组则需要新建，新建独享调度资源组并配置网络连通性，详情请参见新增和使用独享调度资源组。

      2. 单击初始化对资源组进行初始化，验证独享调度资源组和EMR引擎的网络连通性。

        您也可以选择多个资源组，批量进行初始化。

      说明 当EMR引擎配置或组件版本变更时，需要在此界面重新对资源组进行初始化操作。
  4. 单击确定。
    创建完成后，您可以在绑定的引擎实例界面右上角单击设置为默认实例，将指定引擎设置为数据开发过程中默认选择的引擎。

配置访问身份的映射关系

成功绑定安全模式的EMR后，后续实际执行EMR任务时，使用的是EMR集群配置的访问身份对应的映射账号。配置访问身份的映射关系步骤如下：
  1. 进入EMR集群配置页面。
    您可以通过如下两种方式进入。
    方式步骤
    1成功添加E-MapReduce引擎后，在弹出的请注意对话框，单击去配置开发环境及去配置生产环境。
    2在计算引擎信息区域的引擎实例绑定页面，单击配置账号映射关系。
  2. 在编辑EMR集群配置对话框，配置引擎权限映射。
    配置引擎映射您可以使用如下两种方式配置引擎权限映射关系。
    方式步骤
    引用已创建的映射关系在引用映射关系中直接选择引用当前工作空间中已创建的权限映射关系。
    创建新的权限映射关系选择映射类型后，在配置引擎权限映射区域，选择需要配置映射关系的云账号及相应的映射账号。
    说明
    • 阿里云主账号或拥有AliyunEMRFullAccess权限策略的RAM用户可以为本工作空间所有成员配置身份映射，其余工作空间成员仅可以为自己配置身份映射。
    • 您可以添加多个云账号与系统账号、LDAP账号的映射关系。DataWorks支持多个云账号映射至同一个映射账号。
  3. 在编辑EMR集群配置对话框，配置引擎权限映射。
  4. 单击确定，完成创建。

后续步骤

绑定引擎后，您便可基于该引擎进行数据开发。详情请参见入门教程：数据开发入门、操作指南：数据开发。