创建EMR Hive节点

使用限制

• 仅支持使用独享调度资源组运行该类型任务。

• DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法实时展示元数据、生成审计日志、展示血缘关系，EMR相关治理任务将无法开展。配置EMR-HOOK，详情请参见配置Hive的EMR-HOOK。

操作步骤

1. 进入数据开发页面。

   登录DataWorks控制台，单击左侧导航栏的数据建模与开发 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 创建EMR Hive节点。

   1. 鼠标悬停至图标，选择新建节点 > EMR > EMR Hive。

      您也可以找到相应的业务流程，右键单击业务流程，选择新建节点 > EMR > EMR Hive。

   2. 在新建节点对话框中，输入名称，并选择引擎实例、节点类型及路径。

   3. 单击确认，进入EMR Hive节点编辑页面。

3. 使用EMR Hive节点进行数据开发。

   1. 选择资源组。

      在工具栏单击图标，在参数对话框选择已创建的调度资源组。

      说明

      • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见配置资源组与网络连通。

      • 如果您后续执行任务需要修改使用的资源组，您可单击带参运行图标，选择需要更换的调度资源组。

   2. 使用SQL语句创建任务。

      在SQL编辑区域输入任务代码，示例如下。

      show tables;
      select '${var}'; --可以结合调度参数使用。
      select * from userinfo ;

      说明

      • SQL语句最大不能超过130KB。

      • 使用EMR Hive节点查询数据时，返回的查询结果最大支持10000条数据，并且数据总量不能超过10M。

      • 如果您的工作空间绑定多个EMR引擎，则需要根据业务需求选择合适的引擎。如果仅绑定一个EMR引擎，则无需选择。

      如果您需要修改代码中的参数赋值，请单击界面上方工具栏的高级运行。参数赋值逻辑详情请参见运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。

      说明

      调度参数使用详情，请参考调度参数支持的格式。

   3. 保存并运行SQL语句。

      在工具栏，单击图标，保存编写的SQL语句，单击图标，运行创建的SQL任务。

4. 编辑高级设置。

   不同类型EMR集群涉及配置的高级参数有差异，具体如下表。对于任务的相关参数配置，请参考Spark Configuration。

   集群类型	高级参数
   DataLake集群（新版数据湖）【EMR on ECS】、 Custom集群（自定义集群）【EMR on ECS】	“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见队列基础配置。 “priority”：优先级，默认为1。 “FLOW_SKIP_SQL_ANALYZE”：SQL语句执行方式。取值如下： true：表示每次执行多条SQL语句。 false：表示每次执行一条SQL语句。 说明 该参数仅支持用于数据开发环境测试运行流程。 “DATAWORKS_SESSION_DISABLE”：适用于开发环境直接测试运行场景。取值如下： true：表示每次运行SQL语句都会新建一个JDBC Connection。 false：表示用户在一个节点里运行不同的SQL语句时会复用同一个JDBC Connection。 默认值为false。 说明 该参数配置为false时不会打印Hive的yarn applicationId，如需打印yarn applicationId，请配置该参数为true。 说明 您也可以直接在高级配置里追加自定义Hive Connection参数。
   Hadoop集群（数据湖）【EMR on ECS】	“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见YARN调度器。 “priority”：优先级，默认为1。 “FLOW_SKIP_SQL_ANALYZE”：SQL语句执行方式。取值如下： true：表示每次执行多条SQL语句。 false：表示每次执行一条SQL语句。 “USE_GATEWAY”：设置本节点提交作业时，是否通过Gateway集群提交。取值如下： true：通过Gateway集群提交。 false：不通过Gateway集群提交，默认提交到header节点。 说明 如果本节点所在的集群未关联Gateway集群，此处手动设置参数取值为true时，后续提交EMR作业时会失败。

5. 任务调度配置。

   如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的调度配置，根据业务需求配置该节点任务的调度信息：

   • 配置任务调度的基本信息，详情请参见配置基础属性。

   • 配置时间调度周期、重跑属性和上下游依赖关系，详情请参见时间属性配置说明及配置同周期调度依赖。

     说明

     您需要设置节点的重跑属性和依赖的上游节点，才可以提交节点。

   • 配置资源属性，详情请参见配置资源属性。访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见配置资源组与网络连通。

6. 提交并发布节点任务。

   1. 单击工具栏中的图标，保存节点。

   2. 单击工具栏中的图标，提交节点任务。

   3. 在提交新版本对话框中，输入变更描述。

   4. 单击确定。

   如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务。

7. 查看周期调度任务。

   1. 单击编辑界面右上角的运维，进入生产环境运维中心。

   2. 查看运行的周期调度任务，详情请参见查看并管理周期任务。

   如果您需要查看更多周期调度任务详情，可单击顶部菜单栏的运维中心，详情请参见运维中心概述。