本文为您介绍如何配置、复制、删除Hive组件及如何选择数据的发送方式。

背景信息

Hive输入组件适用于从Hive中读取数据至Dataphin平台，进行数据的整合和再加工的场景。

配置属性

  1. 登录Dataphin控制台。
  2. 在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
  3. 执行以下操作，创建离线单条管道。
    1. 在Dataphin首页，单击顶部菜单栏的研发。
    2. 可选：在数据开发页面，选择项目空间。
      执行以下操作，选择Dev或Basic项目：
      1. 单击项目名称后的test图标。
      2. 在下拉列表中，单击Dev或Basic页签，选择Dev或Basic项目。
      如果您当前访问的是Dev或Basic项目，且项目空间为您的数据开发空间，则无需选择项目空间。
    3. 在数据开发页面，鼠标悬停至顶部菜单栏的开发上，单击集成。
    4. 在数据集成页面，鼠标悬停至脚本后的ddd图标，单击离线单条管道。sss
    5. 在创建管道开发脚本对话框中，配置参数。
      ddd
      参数 描述
      管道名称 填写管道名称。
      调度类型 选择管道的调度类型。调度类型包括：
      • 周期性节点指需定期执行的任务。
      • 手动节点指没有依赖关系，需手动触发的任务。
      描述 填写对离线单条管道的简单描述。
      选择目录 选择离线单条管道所在的文件夹。
    6. 单击确定，完成离线单条管道的创建。
  4. 在离线单条管道脚本的开发页面，单击页面右上角的组件库。
    ddd
  5. 单击输入前的dgd图标。
  6. 将Hive组件拖到左侧的管道画布中。
  7. 鼠标悬停至Hive组件框内右键单击，选择属性配置。
  8. 在Hive输入配置对话框中，配置参数。
    afag
    参数 说明
    步骤名称 根据当前组件的使用场景，填写名称。
    数据源 选择数据源。选取Dataphin系统中已配置的数据源，且数据源需同时具备以下两个条件：
    • 数据源类型为Hive数据源。
    • 执行属性配置的账号具有该数据源的同步读权限，如果没有权限，则需要申请数据源权限，详情请参见管理数据源权限。
    同时您可以单击数据源后的dfag图标，进入规划模块添加数据源，详情请参见新建Hive数据源。
    表 选择数据输入的表。
    文件编码 选择文件编码。系统支持的文件编码包括UTF-8和GBK。
    压缩格式 选择文件的压缩格式。系统支持的压缩格式包括：
    • zip
    • gzip
    • bzip2
    字段分隔符 填写字段的分割符。如果您没有填写分隔符，则系统默认为您选中英文逗号（,）。
    输出字段 根据左侧页面的输入配置，为您展示输出的字段，您可以单击字段管理，在字段管理页面中查看该表中未选的输入字段和已选的输入字段：
    • 选择某个字段后，单击gege图标，将未选的输入字段移入到已选的输入字段。
    • 选择某个字段后，单击sfsga图标，将已选的输入字段移入到未选的输入字段。
    您也可以单击操作列下的sgaga图标，删除多余的字段。
  9. 单击确认，完成Hive输入组件的属性配置。

复制Hive组件

  1. 鼠标悬停至Hive组件框内右键单击，单击复制。
  2. 在管道画布中右键单击后，选择粘贴，完成Hive输入组件的复制。

删除Hive组件

  1. 鼠标悬停至Hive组件框内右键单击，单击删除。
  2. 在确认对话框中，单击确定，完成Hive输入组件的删除。

选择数据的发送方式

当输入组件在连接多个下游组件时，需要选择输入组件的数据发送到下游节点的方式。

  1. 鼠标悬停至Hive组件框内右键单击，单击数据发送方式。
  2. 选择数据发送的方式。
    数据发送方式包括：
    • 复制：上游节点的数据根据下游节点数量进行等份复制，且每个下游节点的数据都是上游节点的全部数据。
    • 轮流分发：上游节点的数据根据下游节点数量进行轮流分发，且所有下游节点的数据之和等于上游节点的数据。