准备环境

创建EMR集群

本教程需要您创建一个EMR集群，用于集成到DataWorks，使得您能够在DataWorks平台上执行基于EMR集群的数据处理任务。在创建EMR集群进行软件配置时，关键参数配置如下：

创建EMR集群的详细操作，请参见创建集群。

一、创建工作空间

如果在华东2（上海）区域已有工作空间，可以忽略该步骤，使用已有工作空间。

1. 登录DataWorks控制台，在左上角切换地域至华东2（上海）。

2. 单击左侧导航栏中的工作空间，进入空间列表页面，单击创建工作空间，创建标准模式空间（生产、开发环境隔离），详情请参见创建工作空间。

二、创建Serverless资源组

1. 购买Serverless资源组。

   本教程在数据同步与调度时，需要使用DataWorks的Serverless资源组，因此您需要先购买Serverless资源组，并完成前期的准备工作。

2. 登录DataWorks-资源组列表页，在顶部切换地域至华东2（上海），单击左侧导航栏的资源组，进入资源组列表页面。

3. 单击创建资源组，在资源组购买页面，选择地域和可用区为华东2（上海）、设置资源组名称，其他参数可根据界面提示进行配置，然后根据界面提示完成付款。Serverless资源组的计费说明请参见Serverless资源组计费。

   说明

   如当前地域没有可用的VPC和交换机，请单击参数说明中对应的控制台链接前往创建。VPC和交换机的更多信息，请参见什么是专有网络VPC。

4. 将资源组绑定至DataWorks工作空间。

   新购买的Serverless资源组需要绑定至工作空间，才能在后续操作中使用。

   登录DataWorks-资源组列表页，在顶部切换地域至华东2（上海），找到购买的Serverless资源组，单击操作列的绑定工作空间，然后单击已创建的DataWorks工作空间后的绑定。

5. 为资源组配置公网访问能力。

   由于本教程使用的测试数据需要通过公网获取，资源组默认不具备公网访问能力，因此需要为资源组绑定的VPC配置公网NAT网关，添加EIP，使其与公开数据网络打通，从而获取数据。

   1. 登录专有网络-公网NAT网关控制台，在顶部菜单栏切换地域至华东2（上海）。

   2. 单击创建公网NAT网关，配置相关参数。以下为本示例所需配置的关键参数，未说明参数保持默认即可。

      参数	取值
      地域	华东2（上海）。
      网络及可用区	选择资源组绑定的VPC和交换机。 您可以前往DataWorks管理控制台，切换至华东2（上海）地域后，单击左侧导航栏的资源组，进入资源组列表页面。找到已创建的资源组，然后单击操作列的网络设置，在数据调度 & 数据集成区域查看绑定专有网络和交换机。VPC和交换机的更多信息，请参见什么是专有网络VPC。
      网络类型	公网NAT网关。
      弹性公网IP实例	创建弹性公网IP。
      关联角色创建	首次创建NAT网关时，需要创建服务关联角色，请单击创建关联角色。

   3. 单击立即购买，勾选服务协议后，单击立即开通，完成购买。

   4. NAT网关实例购买成功后，单击返回控制台，为刚购买的NAT网关实例创建SNAT条目。

      说明

      只有配置了SNAT条目后，使用该专有网络（VPC）的资源组才能访问公网。

      1. 单击新购实例操作列的管理按钮，进入目标NAT网关实例的管理页面，并切至SNAT管理页签。

      2. 在SNAT条目列表下单击创建SNAT条目按钮，创建NAT条目，以下为关键配置：

         参数	取值
         SNAT条目粒度	选择VPC粒度，确保NAT网关所属VPC内的所有资源组都可通过配置的弹性公网IP访问公网。
         选择弹性公网IP地址	配置当前NAT网关实例绑定的弹性公网IP地址。

      3. 完成SNAT条目参数配置后，单击确定创建按钮，创建SNAT条目。

      在SNAT条目列表下，当新创建的SNAT条目的状态变成可用后，即表示资源组绑定的专有网络（VPC）已具备公网访问能力。

更多新增和使用Serverless资源组的操作指导，请参见使用Serverless资源组。

三、注册EMR集群并完成资源组初始化

只有将集群注册至DataWorks，才可以在DataWorks上使用EMR集群。

1. 进入EMR集群注册页面。

   1. 进入管理中心页面。

      登录DataWorks控制台，切换地域至华东2（上海）后，单击左侧导航栏的更多 > 管理中心，在下拉框中选择对应工作空间后单击进入管理中心。

   2. 单击左侧导航栏的集群管理，进入集群管理页面 ，单击注册集群按钮，选择注册集群类型为E-MapReduce。进入注册 E-MapReduce 集群页面。

2. 注册EMR集群。

   在注册 E-MapReduce 集群页面配置集群信息，关键参数配置信息如下。

   参数	取值
   集群所属云账号	当前阿里云主账号。
   集群类型	数据湖（DataLake）。
   默认访问身份	集群账号：hadoop。
   传递proxy user信息	传递。

3. 资源组初始化。

   1. 在集群管理页面，找到已注册的EMR集群，单击右上角的资源组初始化。

   2. 在需要初始化的资源组后面单击初始化。

   3. 完成后单击确认。

   重要

   初始化资源组时，请务必确保初始化成功，否则可能导致任务运行失败。如果初始化失败，请根据界面提示查看失败原因并进行连通性诊断。

注册EMR集群的详细操作，请参见旧版数据开发：绑定EMR计算资源。