您可以创建EMR（E-MapReduce） HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。

前提条件

  • 您已创建阿里云EMR集群，且集群所在的安全组中入方向的安全策略包含以下策略。
    • 授权策略：允许
    • 协议类型：自定义 TCP
    • 端口范围：8898/8898
    • 授权对象：100.104.0.0/16
  • 您在工作空间配置页面添加E-MapReduce计算引擎实例后，当前页面才会显示EMR目录。详情请参见配置工作空间。
  • 如果EMR启用了Ranger，则使用DataWorks进行EMR的作业开发前，您需要在EMR中修改配置，添加白名单配置并重启hive，否则会在作业运行时报错Cannot modify spark.yarn.queue at runtime或Cannot modify SKYNET_BIZDATE at runtime。
    1. 白名单的配置通过EMR的自定义参数，添加key和value进行配置，以Hive组件的配置为例，配置值如下。
      hive.security.authorization.sqlstd.confwhitelist.append=tez.*|spark.*|mapred.*|mapreduce.*|ALISA.*|SKYNET.*
      说明 其中ALISA.*和SKYNET.*为DataWorks专有的配置。
    2. 白名单配置完成后需重启服务，使配置生效。重启服务的操作可参见重启服务。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台。
    2. 在左侧导航栏，单击工作空间列表。
    3. 选择工作空间所在地域后，单击相应工作空间后的进入数据开发。
  2. 鼠标悬停至新建图标，单击EMR > EMR Hive。
    您也可以找到相应的业务流程，右键单击EMR，选择新建 > EMR Hive。
  3. 在新建节点对话框中，输入节点名称，并选择目标文件夹。
    说明 节点名称必须是大小写字母、中文、数字、下划线（_）和小数点（.），且不能超过128个字符。
  4. 单击提交。
  5. 在节点编辑页面，输入代码。
    说明 如果您的工作空间绑定多个EMR引擎，需要选择EMR引擎。如果仅绑定一个EMR引擎，则无需选择。
  6. 保存并提交节点。
    注意 您需要设置节点的重跑属性和依赖的上游节点，才可以提交节点。
    1. 单击工具栏中的保存图标，保存节点。
    2. 单击工具栏中的提交图标。
    3. 在提交新版本对话框中，输入变更描述。
    4. 单击确认。
    如果您使用的是标准模式的工作空间，提交成功后，请单击右上方的发布。具体操作请参见发布任务。
  7. 测试节点，详情请参见查看周期任务。