实例类型
CDP由多个不同类型的实例节点组成,其中基础版包括主实例节点(Master)、工具实例节点(Utility)和核心实例节点(Core);专业版包括主实例节点(Master)、工具实例节点(Utility)、核心实例节点(Core)和数据服务节点(Data-Service)。
不同的实例节点上部署的服务进程不同,负责完成的任务也不同。
以下为实例类型的具体说明。
主实例节点(Master)
Master节点主要用于部署HDFS NameNode,YARN ResourceManager以及Zookeeper Server等。
工具实例节点(Utility)
Utility节点主要用于部署CM(CDP的管控),以及Hive Metastore,Hue以及集群的元数据信息。针对高可用集群,工具节点还会用于部署HDFS 的JournalNode以及ZooKeeper的Server。针对高安全集群,工具节点也会用于安装Solr server,Ranger以及Knox代理。
核心实例节点(Core)
Core节点主要用于数据存储和计算,运行HDFS DataNode和YARN NodeManager。
数据服务节点(Data-Service)
Data-Service节点主要用于部署Data Warehouse,Data Engineering和Machine Learning服务:
Data Warehouse:使用Data-Service的Data Warehouse服务,用户可以创建相互独立的虚拟数仓,并且虚拟数仓可以根据负载需求自动的扩缩容,在没有负载时进入挂起状态,提高资源利用率。
Data Engineering:使用Data-Service的Data Engineering服务,用户可以创建自动扩缩容的Spark虚拟集群,并为用户提供交互式界面以提交Spark作业,以及Airflow服务以帮助用户调度Spark作业。
Machine Learning:Data-Service的Machine Learning服务提供了整套的AI WorkSpace,数据科学家可以使用该套工作空间完成数据准备,机器学习实验,模型测试和模型部署等工作。数据工程师也能使用该套服务快速编写ETL脚本进行数据处理。