本文为您介绍创建StarRocks集群的详细操作步骤和相关配置。
前提条件
操作步骤
进入创建集群页面。
可选:在顶部菜单栏处,根据实际情况选择地域和资源组。
地域:创建的集群将会在对应的地域内,一旦创建不能修改。
资源组:默认显示账号全部资源。
单击上方的创建集群,进行创建。
配置集群信息。
创建集群时,您需要对集群进行软件配置、硬件配置和基础配置。
重要集群创建完成后,除了集群名称以外,其他配置均无法修改,所以在创建时请仔细确认各项配置。
软件配置。
配置项
示例
描述
地域
华东1(杭州)
创建的集群将会在对应的地域内,一旦创建不能修改。
业务场景
数据分析场景
选择数据分析。
产品版本
EMR-5.19.0
默认最新的软件版本。
服务高可用
关闭
默认关闭。开启后集群会有三个Master节点来支持ResourceManager和NameNode的高可用。 您也可以修改节点数量。
可选服务
Starrocks3
根据您的实际需求选择其他的一些组件,被选中的组件会默认启动相关的服务进程。
允许采集服务运行日志
开启
支持一键开启或关闭所有服务的日志采集。默认开启,将收集您的服务运行日志,这些日志仅供集群诊断使用。
集群创建后,您可以在基础信息页面,修改服务运行日志收集状态。
重要关闭日志采集后,EMR的健康检查和技术支持将受到限制,但其他功能仍可正常使用。如何关闭及影响详情,请参见如何停止采集服务日志?。
StarRocks架构类型
存算一体
仅Starrocks3支持配置该参数。
支持存算一体和存算分离的存储架构。
存算一体(默认):计算资源和存储资源紧密结合,数据直接存储在计算节点的本地磁盘上。
适合需要实时处理和快速查询的OLAP场景,比如数据分析和BI报表生成。
存算分离:计算资源与存储资源完全解耦,计算节点专注于执行查询任务,而数据则存储在外部分布式存储系统中。提升了系统的灵活性和可靠性。
适合处理大规模数据存储和支持弹性计算需求。
DLF统一元数据
勾选
默认勾选,表示元数据存储在数据湖构建DLF中。
重要选择该方式时,需要开通数据湖构建DLF产品,您可以单击下方的开通,前往DLF控制台操作。
开通DLF后,系统会为您选择默认的DLF数据目录,默认为UID。如果针对不同集群您期望使用不同的数据目录,则可以按照以下方式新建目录。
单击创建数据目录,在弹出的对话框中输入目录ID,单击确定。详情请参见数据目录。
在DLF数据目录下拉列表中,选择您新建的数据目录。
高级设置
不开启
软件自定义配置:可指定JSON文件对集群中的基础软件(例如Hadoop、Spark和Hive等)进行配置。默认不开启。
硬件配置。
配置项
示例
描述
付费类型
按量付费
默认包年包月。当前支持的付费类型如下:
按量付费:一种后付费模式,即先使用再付费。按量付费是根据实际使用的小时数来支付费用,每小时计费一次,适合短期的测试任务或是灵活的动态任务。
包年包月:一种预付费模式,即先付费再使用。
说明建议测试场景下使用按量付费,测试正常后再新建一个包年包月的生产集群正式使用。
可用区
华东1(杭州) 可用区 I
可用区为在同一地域下的不同物理区域,可用区之间内网互通。通常使用默认的可用区即可。
专有网络
starrocks_test/vpc-bp1f4epmkvncimpgs****
默认选择已有的专有网络。
如需创建新的专有网络,请在专有网络控制台新创建一个,详情请参见创建和管理专有网络。
交换机
vsw_test/vsw-bp1e2f5fhaplp0g6p****
选择在对应VPC下可用区的交换机,如果在这个可用区没有可用的交换机,则需要在专有网络控制台新创建一个,详情请参见创建和管理交换机。
默认安全组
sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****
默认选择已有的安全组。安全组详情请参见安全组概述。
您也可以单击新建安全组,在ECS控制台新建一个安全组,详情请参见创建安全组。
重要禁止使用ECS上创建的企业安全组。
节点组
使用默认值
您可以根据需要选择实例规格,详情请参见实例规格族。
Master:主要负责ResourceManager和NameNode等控制进程的部署。
Core:主要负责集群所有数据的存储,创建集群完成后也支持按需进行扩容。
Task:不保存数据,调整集群的计算力使用。默认不开启,需要时可自定义配置。
重要Task节点组支持的付费类型有按量付费、抢占式实例和包年包月。
加入部署集:开启高可用后,Master默认加入部署集。部署集是控制实例分布的策略,详情请参见部署集。
系统盘:根据需要选择SSD云盘、ESSD云盘或者高效云盘。系统盘大小请根据需要调整。
数据盘:根据需要选择SSD云盘、ESSD云盘或者高效云盘。数据盘大小请根据需要调整。
说明当您选择ESSD云盘时,可以根据所选云盘的容量大小来设置不同的性能级别(PL级别),以满足不同的集群性能需求。默认的性能级别为PL1。根据云盘的容量范围,系统盘支持PL0、PL1和PL2三个性能级别的云盘规格,数据盘支持PL0、PL1、PL2和PL3四个性能级别的云盘规格。云盘的详细信息,请参见云盘概述。
实例数量:Master节点组默认1台。如果开启高可用,可以有多台Master实例。
Core节点组默认2台,您可以根据需要调整。
附加安全组:附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。您最多可以为该节点组关联2个附加安全组。
挂载公网:集群是否挂载弹性公网IP地址,默认不开启。仅DataLake集群支持节点组级别挂载公网。
说明如果您未开启该功能,创建后您想使用公网IP地址访问,请在ECS上申请开通公网IP地址,详情请参见申请EIP。
基础配置。
在基础信息区域,配置如下参数。
配置项
示例
描述
集群名称
Emr-StarRocks
集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。
身份凭证
自定义密码
密钥对(默认):使用SSH密钥对登录Linux实例。
关于密钥对的使用详情,请参见SSH密钥对。
密码:设置Master节点的登录密码,使用密码对登录Linux实例。
密码规则:8~30个字符,且必须同时包含大写字母、小写字母、数字和特殊字符。
特殊字符包括:感叹号(!)、at(@)、井号(#)、美元符号($)、百分号(%)、乘方(^)、and(&)和星号(*)。
(可选)保存为集群模板:如果身份认证选择的密钥对,则可以单击保存为集群模板,保存当前集群的配置信息为集群模板。
单击确认订单。
创建集群后可以通过刷新页面来查看进度,当集群状态显示为运行中时,表示集群创建成功。