文档

实例类型

更新时间:

CDP由多个不同类型的实例节点组成,其中基础版包括主实例节点(Master)、工具实例节点(Utility)和核心实例节点(Core);专业版包括主实例节点(Master)、工具实例节点(Utility)、核心实例节点(Core)和数据服务节点(Data-Service)。

不同的实例节点上部署的服务进程不同,负责完成的任务也不同。

以下为实例类型的具体说明。

主实例节点(Master)

Master节点主要用于部署HDFS NameNode,YARN ResourceManager以及Zookeeper Server等。

工具实例节点(Utility)

Utility节点主要用于部署CM(CDP的管控),以及Hive Metastore,Hue以及集群的元数据信息。针对高可用集群,工具节点还会用于部署HDFS 的JournalNode以及ZooKeeper的Server。针对高安全集群,工具节点也会用于安装Solr server,Ranger以及Knox代理。

核心实例节点(Core)

Core节点主要用于数据存储和计算,运行HDFS DataNode和YARN NodeManager。

数据服务节点(Data-Service)

Data-Service节点主要用于部署Data Warehouse,Data Engineering和Machine Learning服务:

  • Data Warehouse:使用Data-Service的Data Warehouse服务,用户可以创建相互独立的虚拟数仓,并且虚拟数仓可以根据负载需求自动的扩缩容,在没有负载时进入挂起状态,提高资源利用率。

  • Data Engineering:使用Data-Service的Data Engineering服务,用户可以创建自动扩缩容的Spark虚拟集群,并为用户提供交互式界面以提交Spark作业,以及Airflow服务以帮助用户调度Spark作业。

  • Machine Learning:Data-Service的Machine Learning服务提供了整套的AI WorkSpace,数据科学家可以使用该套工作空间完成数据准备,机器学习实验,模型测试和模型部署等工作。数据工程师也能使用该套服务快速编写ETL脚本进行数据处理。

  • 本页导读 (0)
文档反馈