操作手册
【试用教程】海量数据下Lindorm查询实践
手动配置
32
教程简介
在本教程中,您将学习云原生多模数据库Lindorm的数据查询,并通过集群监控查看高并发请求下的集群RT稳定性。
云原生多模数据库Lindorm是阿里云自研的云原生多模超融合数据库,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理,并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口和无缝集成三方生态工具。其中Lindorm的宽表引擎适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容SQL、HBase、Cassandra(CQL)、S3等标准接口。
我能学到什么
通过初始化脚本导入信用卡客户的模拟数据,长时间地模拟业务高并发请求。
通过Lindorm Insight平台的Lindorm SQL体验查询相关的业务逻辑。
通过监控查看高并发请求下的集群RT稳定性。
操作难度 | 中 |
所需时间 | 45分钟 |
使用的阿里云产品 | |
所需费用 |
准备环境及资源
15
开始教程前,请按以下步骤准备环境和资源:
访问阿里云免费试用。单击页面右上方的登录/注册按钮,并根据页面提示完成账号登录(已有阿里云账号)、账号注册(尚无阿里云账号)或实名认证(根据试用产品要求完成个人实名认证或企业实名认证)。
成功登录后,在产品类别下选择数据库>NoSQL 数据库,在云原生多模数据库 Lindorm卡片上单击立即试用。
在云原生多模数据库 Lindorm面板,配置以下信息。
配置项
说明
本教程示例
部署方案
固定为单可用区,主节点和备节点位于同一可用区,适合可用区灾备级别的要求为单机房的场景。
单可用区
地域
选择实例所属地域。
实例创建成功后将无法更换地域,请谨慎选择。
如果应用部署在ECS实例,请您选择与ECS实例相同的地域,否则无法直接通过内网连接。
华东1(杭州)
可用区
选择实例所属可用区。
可用区J
专有网络(VPC)
选择实例所属专有网络。
如果选择的地域没有VPC,可以前往VPC控制台创建。
请确保实例与需要连接的ECS实例位于同一个VPC,否则无法通过内网互通,只能通过外网互通,无法发挥最佳性能。
vpc-bp1ov7as4yvz4kxei****
专有网络交换机
选择实例所属交换机。
如果选择的可用区没有交换机,可以前往VPC控制台创建。
vsw-bp1mbnyrjtf3ihga1****
集群名称
设置实例的名称,便于后续业务识别。
lindorm_test
存储类型
不同存储类型的介绍,请参见存储类型。
标准型云存储
选择数据引擎
您可以根据实际业务需求选购数据引擎的节点规格和数量,引擎的介绍请参见引擎类型。
宽表节点规格(HBase/Cassandra API):4核16 GB(独享规格)
宽表节点数量:2
存储空间
选择实例的存储空间的大小。
480 GB
是否选择容量型存储
是否需要开通容量型云存储,容量型存储的介绍,请参见冷存储介绍。
否
试用时长
固定为1个月。
1个月
资源组
选择实例所属资源组。您可以选择已有的资源组,也可以创建新的资源组加入。创建方法,请参见创建资源组。
默认资源组
其他配置项均使用默认值。
勾选服务协议,单击立即试用。
创建实例需要10~15分钟,之后您就可以在云原生多模数据库Lindorm控制台实例列表看到新创建的实例。
按如下要求准备ECS,创建ECS实例的方法,请参见自定义购买实例。
所在地域与云原生多模数据库Lindorm实例相同,并建议所在可用区相同(以减少网络延时)。
网络类型为专有网络,须确保使用与云原生多模数据库Lindorm实例相同的专有网络ID。
操作系统为CentOS 7.9 64位。
绑定公网IP。
您可以前往阿里云免费试用查看您的阿里云账号是否具有云服务器ECS试用资格。如有试用资格,可通过试用ECS来完成教程。如无试用资格,则需使用自有ECS资源才能完成教程。不建议使用生产环境中的自有ECS资源,也不要将教程中的测试数据和自有ECS资源的数据混用。测试完成后及时清理测试数据,避免影响自有资源正常运行。
设置白名单
2
云原生多模数据库Lindorm默认禁止所有IP地址访问。连接Lindorm实例,登录集群管理,需要添加以下IP地址到白名单。
连接Lindorm实例:请将ECS实例的IP地址添加到白名单。
登录集群管理:请将登录集群管理的客户端IP添加到白名单。
在云原生多模数据库Lindorm控制台实例列表左上角,选择实例所在地域。本教程示例为华东1(杭州)。
单击实例ID。
单击左侧导航栏中的访问控制。
单击修改白名单分组。
在修改分组白名单对话框中,输入ECS实例的主私网IP。
您可以访问ECS实例列表,在左上角选择地域,单击ECS实例ID,在实例详情页面的网络信息区域查看主私网IP。
在修改分组白名单对话框中,输入登录集群管理的客户端IP。获取公网IP地址的方式可能因网络环境或操作系统不同而不同。以下是不同操作系统通过命令方式获取公网IP地址的参考方法:
Linux操作系统:打开终端,输入
curl ifconfig.me
命令后回车。Windows操作系统:打开命令提示符,输入
curl ip.me
命令后回车。macOS操作系统:打开终端,输入
curl ifconfig.me
命令后回车。
单击确定。
获取连接地址
2
连接数据库前,您需要获取云原生多模数据库Lindorm实例的默认用户名、默认密码以及私有网络连接地址。
单击左侧导航栏中的数据库连接。
在宽表引擎页签,单击默认密码旁边的显示图标,复制明文显示的默认密码。
在默认用户名和默认密码下方,复制Lindorm 宽表SQL地址的私有网络地址。示例为jdbc:lindorm:table:url=http://ld-bp17h1nhgljt*****-proxy-lindorm.lindorm.rds.aliyuncs.com:30060。
单击确定。
导入数据
10
登录ECS实例。登录方法,请参见通过密码或密钥认证登录Linux实例。
下载示例数据集,该数据集为信用卡客户的模拟数据,用于后续数据查询。
wget https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/en-US/20230427/doot/credit_demo.jar
安装JDK。安装需要30秒左右,请您耐心等待。
yum install -y java
安装结束后,执行
java -version
。返回JDK版本,说明JDK安装成功。导入示例数据到Lindorm实例。
参数说明:
-Durl:Lindorm宽表SQL的私有网络地址。
-Dlindorm_user:Lindorm宽表引擎的默认用户名。默认为root。
-Dlindorm_password:Lindorm宽表引擎的默认密码,即获取连接地址步骤中获取的默认密码。
cd ~ nohup java -Xms1G -Xmx1G -Durl="jdbc:lindorm:table:url=http://ld-bp17h1nhgljt*****-proxy-lindorm.lindorm.rds.aliyuncs.com:30060" -Dlindorm_user="root" -Dlindorm_password="password" -jar credit_demo.jar &
执行
jobs
,返回[1] + running
表示加载程序在运行中。
查询数据
10
登录云原生多模数据库Lindorm控制台。在页面左上角,选择实例所在地域。本教程示例为华东1(杭州)。
在实例列表页面,单击实例ID。
单击宽表引擎。
在页面右侧集群管理区域,单击重置 UI 访问密码。在对话框中,设置登录集群管理的密码,并输入确认密码。单击确定。
单击ClusterManager公网。在弹出的提示框中,单击确认。
在弹出的登录框中,输入用户名和步骤4设置的密码。
在Lindorm Insight页面,单击数据查询>SQL执行器。
在namespace下拉列表中选择default,页面右侧展示default中的数据表uci_credit_card和uci_credit_card_bak。
在SQL窗口内执行SQL查询语句。
查询用户ID = 10000的个人数据。
SELECT * FROM uci_credit_card WHERE ID = 10000;
查询信用额度 > 20000的有多少人。
SELECT COUNT(*) FROM uci_credit_card WHERE LIMIT_BAL > 20000.0;
查看2005年9月的还款状态为-1(正常付款)和1(延迟一个月)的总人数。
SELECT COUNT(*) FROM uci_credit_card WHERE PAY_0 IN (-1,1);
查询年龄25-40岁之间的最大、平均、最小信贷额度。
SELECT MAX(LIMIT_BAL),AVG(LIMIT_BAL),MIN(LIMIT_BAL) FROM uci_credit_card WHERE AGE >= 25 AND AGE <= 30;
查看年龄在30-45岁之间的平均信贷额度与婚姻关系。
SELECT AVG(LIMIT_BAL),MARRIAGE FROM uci_credit_card WHERE MARRIAGE IN ( 1,2,3) AND AGE >= 30 AND AGE <= 45 GROUP BY MARRIAGE;
查询表的总数。
SELECT COUNT(*) FROM uci_credit_card;
查看每个年龄下信贷额度的平均值。
SELECT AVG(LIMIT_BAL),AGE FROM uci_credit_card GROUP BY AGE ORDER BY AGE;
查看实例监控
3
在云原生多模数据库Lindorm控制台左上角,选择实例所在地域,单击实例ID。
在左侧导航单,单击实例监控。
首次访问实例监控,需单击开通ARMS服务,在弹出的对话框中单击确定。
查看系统指标--网络流量和宽表引擎指标--读请求。
清理及后续
5
清理实例
云原生多模数据库Lindorm
云原生多模数据库Lindorm实例只能免费试用1个月。试用结束后,如需继续使用,请在实例到期前及时续费,续费操作,请参见手动续费包年包月实例。到期不续费,实例会自动释放,数据被清理。如不再继续使用,您可以手动释放,释放操作,请参见释放实例。
云服务器ECS
如果是按量付费的ECS实例,请及时释放实例,以免产生费用。释放方法,请参见释放实例。
如果是包年包月的ECS实例,实例到期后会自动释放。
后续操作
您可以进行宽表开发、时序开发、计算引擎作业开发等,请参见:
总结
常用知识点
问题:不配置白名单,ECS实例可以连接云原生多模数据库Lindorm实例吗?(单选题)
正确答案是无法连接。云原生多模数据库Lindorm实例默认禁止所有IP地址访问,在连接实例前,您需要将ECS实例的IP地址添加到云原生多模数据库Lindorm实例的白名单中。