设置Dataphin实例的计算引擎为Hadoop

在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。

前提条件

已完成系统元数据的初始化,请参见使用Hadoop作为元仓计算引擎进行元仓初始化

操作步骤

  1. 使用超级管理员或系统管理员账号,登录Dataphin控制台。

  2. 在Dataphin首页,单击顶部菜单栏管理中心

  3. 管理中心页面,按照下图操作进入计算设置页面。

    image.png

  4. 计算设置页面,配置计算引擎参数。

    参数

    描述

    集群存储

    • 计算引擎类型为E-MapReduce 5.x Hadoop时,支持配置集群存储类型。包括HDFS和OSS-HDFS。更多信息,请参见OSS/OSS-HDFS概述

    • 同时可以通过以下方式查看集群存储类型。

      • 未创建集群:可以通过E-MapReduce 5.x Hadoop集群创建页面查看所创建的集群存储类型。如下图所示:

        image.png

      • 已创建集群:可以通过E-MapReduce 5.x Hadoop集群的详情页查看所创建的集群存储类型。如下图所示:

        image.png

    NameNode

    Hadoop支持添加同集群多个HDFS地址,只要有一个地址校验成功,即可完成元数据采集。例如host=192.xxx.xx.xxx,webUiPort=500xxx,ipcPort=80xx

    集群存储根目录

    计算引擎类型为E-MapReduce 5.x Hadoop且集群存储类型为OSS-HDFS时,需填写集群存储根目录。可以通过查看E-MapReduce 5.x Hadoop集群信息获取进行。如下图所示:

    image.png

    执行引擎

    根据实际业务情况,选择计算执行引擎。包括MapReduce和Tez

  5. 单击确认并开始数据建设

后续步骤

完成Dataphin实例计算引擎的设置后,系统支持为创建的项目空间添加相应的计算源,为项目空间提供计算和存储的资源。如何创建项目空间及添加计算源,请参见创建通用项目