添加Hadoop类型的公共节点

Hadoop类型的离线数据节点,运行于Hadoop类型的云计算资源,支持对Hive、Hbase和Phoenix等类型的数据进行处理。

前提条件

  • 已创建逻辑表,更多请参见手动新建逻辑表

  • 已添加Hadoop类型云计算资源。

  • 推荐您预先准备好算法文件或者脚本。

背景信息

Hadoop节点运行于Hadoop类型的云计算资源上,可处理Hive、Hbase和Phoenix等类型的数据源。

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击 选择工作组图标,选择目标工作组,单击资产加工

  4. 说明
  5. 首次进入研发工作台时,系统默认进入资产加工页面,若您已在资产加工页面,请跳过此操作。

  6. 在左侧导航栏,选择数据开发> 公共节点,进入数据开发页面。

  7. 选择已创建的目录或者默认的目录,单击配置 > 新建公共节点

  8. 添加节点对话框,选择Hadoop节点类型,单击确定

  9. 在节点编辑页面,可通过两种方式进行配置。

    • 方式一:通过在编辑写SQL语句方式

      1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

      2. 在编辑页面,输入SQL语句,单击图标。

      3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定

      4. 单击页面右侧运行属性页签,选择需要的测试计算资源。

      5. 单击编辑页面的解析图标,自动解析公共节点的输入/输出参数和运行参数。

        SQL解析对话框的输入与输出页签中,选择公共节点输入模型输出模型,单击确定

      6. 在节点编辑页面,单击左上角保存图标。

      7. 单击运行图标,出现运行参数页面,在参数页签,输入默认值,单击确定运行参数

    • 方式二:上传算法包方式

      1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。

        配置项

        说明

        节点标识

        节点的唯一标识,由用户自定义,同一个工作组必须是唯一的,不可重复。

        节点名称

        节点的名称。

        算法文件

        算法文件:本地编写完成的算法文件。

        保留原文件名:上传算法文件后,是否保留算法文件的源文件名。如果设置为,则按规则随机生成算法文件名。

        简介

        节点的描述性信息,方便用户理解和查找。

      2. 在编辑页面,输入对应的脚本内容,单击图标。

        hdoop脚本
      3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定

      4. 单击页面右侧运行属性页签,选择需要的测试计算资源。

      5. 手动添加节点输入/输出参数和运行参数。

        1. 单击添加节点输入,添加输入参数,填写输入code,并选择输入的云计算资源类型以及输入表。

        2. 单击添加节点输出,添加输出参数,填写输出code,并选择输出的云计算资源类型以及输出表。

      6. 单击运行图标,出现运行参数页面,在参数页签,输入默认值,单击确定

  10. 查看运行结果和日志,当结果显示如下所示“Current task status:SUCCESS”,则表示公共节点运行成功。

    创建节点完成,在公共节点列表页面,查看新建的公共节点。