快速使用存算一体版实例

存算一体版实例适用于对查询性能要求高的场景,例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘,以确保较高的数据读写效率。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks存算一体实例。

前提条件

  • 注册阿里云账号,并完成实名认证。具体操作请参见账号注册(PC端)

  • 如果是RAM用户,已授权AliyunEMRStarRocksFullAccess系统权限策略。

    说明

    创建和管理StarRocks实例需要具备AliyunEMRStarRocksFullAccess系统权限策略。

注意事项

代码的运行环境由所属用户负责管理和配置。

操作步骤

步骤一:创建存算一体版StarRocks实例

  1. 进入EMR Serverless StarRocks实例列表页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > StarRocks

    3. 在顶部菜单栏处,根据实际情况选择地域。

  2. 实例列表页面,单击上方的创建实例

  3. E-MapReduce Serverless StarRocks页面,完成实例相关配置。

    配置项

    示例

    描述

    商品类型

    按量付费

    选择为按量付费,计费详情请参见按量付费

    地域

    华北2(北京)

    实例所在的物理位置。

    重要

    实例创建后,无法更改地域,请谨慎选择。

    网络及可用区

    • vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****

    • 可用区I

    • vsw_i/vsw-bp1e2f5fhaplp0g6p****

    选择专有网络、可用区及其对应的交换机信息。

    • 专有网络:是您在阿里云自己定义的一个隔离网络环境,您可以完全掌控自己的专有网络。

      选择已有的专有网络,或者单击创建专有网络前往专有网络控制台创建,详情请参见创建和管理专有网络

      说明
      • 创建专有网络时,IPv4地址网段(CIDR)必须从以下三个RFC 1918标准定义的私有网段中选择:

        • 10.0.0.0/8(即10.0.0.0 ~ 10.255.255.255)

        • 172.16.0.0/12(即172.16.0.0 ~ 172.31.255.255)

        • 192.168.0.0/16(即192.168.0.0 ~ 192.168.255.255)

      • 如果您的Serverless StarRocks需要访问公网(例如导入数据或查询外部表),则必须确保其所在的专有网络(VPC)具备公网访问能力。您可以通过在VPC中部署公网NAT网关并启用SNAT功能,使Serverless StarRocks实例能够通过该网关访问公网资源。更多信息,请参见使用公网NAT网关SNAT功能访问互联网

    • 可用区:实例所在可用区。

    • 交换机:是组成专有网络VPC的基础网络模块,用来连接不同的云资源。

      选择已有的交换机,或者单击创建交换机前往专有网络控制台即时创建交换机,详情请参见创建和管理交换机

    实例类型

    存算一体

    适用于对查询性能要求极高的场景,例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘,以确保较高的数据读写效率。

    实例系列

    标准版

    支持入门版标准版,详情请参见实例系列说明

    说明

    入门版仅支持北京、上海、深圳、杭州地域。

    内核版本

    3.3

    StarRocks的社区版本号。

    FE规格

    • 规格类型:标准规格

    • 计算CU:8 CU

    • 数据盘:ESSD PL1云盘,

    • 高可用:默认开启。

    • 节点数量:3

    • 负载均衡:内置Private Zone

    • 规格类型:StarRocks不同的实例系列对应FE节点的规格类型不同。

      • 入门版:支持标准规格

      • 标准版:支持标准规格内存增强型规格。

    • 计算 CU:选择计算单元(CU)。

      请根据实际需求选择合适的CU规格。有关CU费用的详细信息,请参见计费项

    • 数据盘:仅支持ESSD PL1云盘。数据盘大小取值范围为100 GB~65000 GB,步长为100。

      有关云盘的更多信息,请参见ESSD云盘

    • 高可用:默认开启。标准版支持开启高可用,打开高可用开关后,StarRocks FE节点数由1增加到3,以降低故障风险。

      重要

      生产环境强烈建议您开通高可用。

    • 节点数量:FE节点的数量。数量范围:1 ~ 11个,且仅支持奇数。

    • 负载均衡:支持以下方式。

      • 内置 Private Zone:通过PrivateZone域名解析实现流量的自动均摊。无额外费用,适用于轻量级场景或对成本敏感的环境。

        适合非生产环境或对负载均衡性能要求较低的业务。

      • 负载均衡 SLB:通过开通SLB服务实现高性能的负载均衡。建议用于生产环境,尤其是对系统性能和可靠性要求较高的业务。

        仅在SLB开通后,提供FE Leader摘查询流量功能。

        需开通SLB服务,会产生额外费用,详情请参见CLB计费概述

    BE规格

    • 规格类型:标准规格

    • 计算CU:8 CU

    • 数据盘:ESSD PL1云盘,100 GB,1

    • 节点数量:3

    • 规格类型:StarRocks不同的实例系列对应BE节点的规格类型不同。

      • 入门版:支持标准规格

      • 标准版:支持以下规格。

        • 标准规格:默认推荐规格,1CU=1核 CPU + 4 GiB 内存。该配置使用ESSD云盘作为StarRocks的存储解决方案。

        • 内存增强型:1RCU=1核 CPU + 8 GiB 内存,适用于内存消耗较大的场景,如复杂查询数量较多、并发请求较大等。采用ESSD云盘作为StarRocks的存储解决方案。

        • 网络增强型:1NCU=1核 CPU + 4 GiB 内存,网络带宽为标准规格的2倍以上,适用于外表分析数据扫描量较大的场景,使用ESSD云盘作为StarRocks存储。

        • 高性能存储:需要您选择详细规格。该规格类型使用本地SSD数据盘作为StarRocks存储,适用于对存储I/O性能要求极为严格的场景。

        • 大规格存储:需要您选择详细规格。该规格类型使用本地HDD数据盘作为StarRocks存储,适合于数据量极大的场景,能够有效降低整体存储成本,但对存储I/O性能的要求相对较低。

    • 计算CU:选择计算单元(CU)。

      请根据实际需求选择合适的CU规格。有关CU费用的详细信息,请参见计费项

    • 数据盘:支持ESSD PL0、ESSD PL1云盘(推荐)、ESSD PL2云盘、ESSD PL3云盘。更多信息,请参见ESSD云盘

      缓存盘大小取值范围为100 ~ 65000 GB。缓存盘数量默认1个。取值范围为1~8个,步长为1。

      说明

      您可以输入所需的存储容量,系统将自动提供默认的推荐配置。如果您选择的云盘容量超出建议的阈值,系统会弹出相应的提示帮助您作出适当的调整以确保最佳性能。

    • 节点数量:BE节点的数量。数量范围:3 ~ 50个。

    实例名称

    自定义实例名称。

    实例名称,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。

    管理员用户

    admin

    用于管理StarRocks的管理员用户,默认为admin,无法修改。

    登录密码确认密码

    自定义密码。

    StarRocks实例内置管理员用户admin的密码。请记录该配置,管理和使用StarRocks实例需要您输入该密码。如果忘记该密码,可以进行重置,详情请参见如何重置实例的密码?

    更多实例参数信息,请参见创建实例

  4. 选中服务协议,单击创建实例,根据提示完成支付。

    支付完成后,回到实例管理页面,查看创建的实例。当实例状态运行中时,表示实例创建成功。

步骤二:连接StarRocks实例

  1. 实例列表页面,单击操作列的连接实例

    您也可以通过其他方式连接StarRocks实例

  2. 连接StarRocks实例。

    1. 新建连接页签,配置以下信息。

      image.png

      参数

      示例

      描述

      地域

      华东1(杭州)

      选择已创建的StarRocks实例所在的物理位置。

      实例

      StarRocks_Serverless

      选择已创建的StarRocks实例的名称。

      连接名称

      Connection_Serverless

      连接名称,自定义输入。

      长度限制为1~64字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。

      用户名

      根据实际情况输入

      默认初始用户名为admin,您可以选择使用该用户名进行连接,或者根据需要创建其他用户,创建用户详情请参见管理用户及数据授权

      密码

      根据实际情况输入

      StarRocks实例中已创建的用户名对应的密码。

    2. 单击测试连通性

    3. 验证通过后,单击确定

      进入SQL Editor页面,即可执行相关的SQL。更多使用信息,请参见通过EMR StarRocks Manager连接StarRocks实例

步骤三:SQL查询

  1. SQL Editor查询列表页面,单击image.png图标。

  2. 新建文件对话框中,单击确认

  3. 在新建的文件中,输入以下命令,选中所有命令后,单击运行

    /**创建数据库**/
    CREATE DATABASE IF NOT EXISTS load_test;
    
    /**使用数据库**/
    USE load_test;
    
    /**创建表**/
    CREATE TABLE insert_wiki_edit
    (
        event_time DATETIME,
        channel VARCHAR(32) DEFAULT '',
        user VARCHAR(128) DEFAULT '',
        is_anonymous TINYINT DEFAULT '0',
        is_minor TINYINT DEFAULT '0',
        is_new TINYINT DEFAULT '0',
        is_robot TINYINT DEFAULT '0',
        is_unpatrolled TINYINT DEFAULT '0',
        delta INT SUM DEFAULT '0',
        added INT SUM DEFAULT '0',
        deleted INT SUM DEFAULT '0'
    )
    AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
    PARTITION BY RANGE(event_time)
    (
        PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
        PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
        PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
        PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
    )
    DISTRIBUTED BY HASH(user) BUCKETS 10
    PROPERTIES("replication_num" = "1");
    
    /**插入数据**/
    INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);
    
    /**查询数据**/
    select * from insert_wiki_edit;

返回信息如下所示。

image.png

步骤四:性能测试

详细信息请参见测试说明

(可选)步骤五:释放实例

重要

该操作将删除实例及该实例下的所有资源,且不可逆,请谨慎操作。

当您不再需要某个实例提供服务时,您可以释放该实例,以免产生额外的费用。

  1. 实例列表页面,单击实例操作列的释放

  2. 在弹出的对话框中,单击确定

相关文档

  • 如需了解SQL Editor更多操作,请参见SQL Editor

  • 如需查看当前实例的SQL查询信息,分析SQL的执行计划,及时诊断和排查SQL问题,详情请参见诊断与分析

  • 如需查看并分析数据库中发生的所有操作,详情请参见审计日志

联系我们

如果您在使用过程中有任何疑问或问题,可以使用钉钉搜索群号24010016636进行咨询。