您可以创建EMR(E-MapReduce) HIVE节点,通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。

前提条件

EMR引擎类型包括新版数据湖(DataLake)及Hadoop,不同类型引擎创建节点前需执行的准备工作不同。您需要根据实际情况完成EMR侧及DataWorks侧的准备工作。

使用限制

  • 仅支持使用独享调度资源组运行该类型任务。
  • DataWorks目前已不支持新绑定Hadoop类型的集群,但您之前已经绑定的Hadoop集群仍然可以继续使用。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发
  2. 创建业务流程
    如果您已有业务流程,则可以忽略该步骤。
    1. 鼠标悬停至新建图标,选择新建业务流程
    2. 新建业务流程对话框,输入业务名称
    3. 单击新建
  3. 创建EMR Hive节点。
    1. 鼠标悬停至新建图标,选择新建节点 > EMR > EMR Hive
      您也可以找到相应的业务流程,右键单击业务流程,选择新建节点 > EMR > EMR Hive
    2. 新建节点对话框中,输入名称,并选择引擎实例节点类型路径
      说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
    3. 单击提交,进入EMR Hive节点编辑页面。
  4. 使用EMR Hive节点进行数据开发。
    1. 选择资源组。
      在工具栏单击高级运行图标,在参数对话框选择已创建的调度资源组。
      说明
      • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见配置资源组与网络连通
      • 如果您后续执行任务需要修改使用的资源组,也可以在此处选择需要更换的调度资源组。
    2. 使用SQL语句创建任务。
      在SQL编辑区域输入任务代码,示例如下。
      show tables;
      select '${var}'; --可以结合调度参数使用。
      select * from userinfo ;
      说明
      • SQL语句最大不能超过130KB。
      • 使用EMR Hive节点查询数据时,返回的查询结果最大支持10000条数据,并且数据总量不能超过10M。
      • 如果您的工作空间绑定多个EMR引擎,则需要根据业务需求选择合适的引擎。如果仅绑定一个EMR引擎,则无需选择。
      如果您需要修改代码中的参数赋值,请单击界面上方工具栏的高级运行。参数赋值逻辑详情请参见运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别
      说明 调度参数使用详情,请参考调度参数概述
    3. 保存并运行SQL语句。
      在工具栏,单击保存图标,保存编写的SQL语句,单击运行图标,运行创建的SQL任务。
  5. 编辑高级设置
    不同类型EMR集群涉及配置的高级参数有差异,具体如下表。
    集群类型 高级参数
    新版数据湖(DataLake)
    • “queue”:提交作业的调度队列,默认为default队列。
    • “priority”:优先级,默认为1。
    • “FLOW_SKIP_SQL_ANALYZE”:SQL语句执行方式。取值如下:
      • true:表示每次执行多条SQL语句。
      • false:表示每次执行一条SQL语句。
      说明 该参数仅支持用于数据开发环境测试运行流程。
    • “DATAWORKS_SESSION_DISABLE”:适用于开发环境直接测试运行场景。取值如下:
      • true:表示每次运行SQL语句都会新建一个JDBC Connection。
      • false:表示用户在一个节点里运行不同的SQL语句时会复用同一个JDBC Connection。
      默认值为false
      说明 该参数配置为false时不会打印Hive的yarn applicationId,如需打印yarn applicationId,请配置该参数为true
    说明 您也可以直接在高级配置里追加自定义Hive Connection参数。
    数据湖(Hadoop)
    • “queue”:提交作业的调度队列,默认为default队列。
    • “vcores”: 虚拟核数,默认为1。
    • “memory”:内存,默认为2048MB(用于设置启动器Launcher的内存配额)。
    • “priority”:优先级,默认为1。
    • “FLOW_SKIP_SQL_ANALYZE”:SQL语句执行方式。取值如下:
      • true:表示每次执行多条SQL语句。
      • false:表示每次执行一条SQL语句。
    • “USE_GATEWAY”:设置本节点提交作业时,是否通过Gateway集群提交。取值如下:
      • true:通过Gateway集群提交。
      • false:不通过Gateway集群提交,默认提交到header节点。
      说明 如果本节点所在的集群未关联Gateway集群,此处手动设置参数取值为true时,后续提交EMR作业时会失败。
  6. 任务调度配置。
    如果您需要周期性执行创建的节点任务,可以单击节点编辑页面右侧的调度配置,根据业务需求配置该节点任务的调度信息:
  7. 提交并发布节点任务。
    1. 单击工具栏中的保存图标,保存节点。
    2. 单击工具栏中的提交图标,提交节点任务。
    3. 提交新版本对话框中,输入变更描述
    4. 单击确定
    如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务
  8. 查看周期调度任务。
    1. 单击编辑界面右上角的运维,进入生产环境运维中心。
    2. 查看运行的周期调度任务,详情请参见查看并管理周期任务
    如果您需要查看更多周期调度任务详情,可单击顶部菜单栏的运维中心,详情请参见运维中心概述