在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。
前提条件
已完成系统元数据的初始化,请参见使用Hadoop作为元仓计算引擎进行元仓初始化。
操作步骤
使用超级管理员账号,登录Dataphin控制台。
在Dataphin首页的顶部菜单栏中,选择管理中心 > 系统设置。
在计算设置页面,选择Hadoop类型的计算引擎并配置计算引擎参数。
Hadoop类型的计算引擎包括:E-MapReduce3.x Hadoop、E-MapReduce5.x Hadoop、CDH5.x
Hadoop、CDH6.x Hadoop、Cloudera Data Platform 7.x、华为 FusionInsight 8.x
Hadoop、亚信DP5.3 Hadoop。
说明当计算引擎选择为E-MapReduce3.x Hadoop、E-MapReduce5.x Hadoop、CDH5.x Hadoop、CDH6.x Hadoop、Cloudera Data Platform 7.x、亚信DP5.3 Hadoop、华为 FusionInsight 8.x Hadoop时,仅需选择离线计算引擎类型,无需配置以下计算引擎参数。保存计算引擎类型后,可单击配置计算集群,在规划 > 计算源 > 管理Hadoop集群页面中新增或配置Hadoop集群。
参数
描述
NameNode
Hadoop支持添加同集群多个HDFS地址,只要有一个地址校验成功,即可完成元数据采集。例如
host=192.xxx.xx.xxx,webUiPort=500xxx,ipcPort=80xx
。执行引擎
根据实际业务情况,选择计算执行引擎。
单击保存。
后续步骤
完成Dataphin实例计算引擎的设置后,系统支持为创建的项目空间添加相应的计算源,为项目空间提供计算和存储的资源。如何创建项目空间及添加计算源,请参见创建通用项目。