当您需要在云原生多模数据库 Lindorm中高效管理计算引擎的资源时,本文档将指导您如何创建计算资源组,并对每个资源组进行配置,以实现资源隔离,优化资源分配,并确保作业按照预期性能运行。
前提条件
已开通计算引擎。如何开通,请参见服务开通。
创建和管理资源组
登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
-
在实例详情页的配置信息区域,单击计算引擎操作列的资源组管理。
-
在资源组详情页中单击创建资源组,配置以下内容:
-
资源组名称:资源组的名字,仅支持小写字母和数字,且长度不超过63个字符。例如
cg0。 -
资源组类型:支持ETL资源组和OLAP资源组。
-
其他配置项:
ETL资源组
ETL资源组面向数据湖或数据仓库生产场景,提供大规模数据集高吞吐计算能力,弹性计算资源池按需伸缩。
参数
说明
使用示例
单日资源消耗限额(DAILY_QUOTA)
资源组每日消耗的能力单元CU(Capacity Unit)资源上限,单位为
CU*Hour。默认值为100000。重要超出上限,作业会被强制立即删除。稳定性要求高的资源组可以配置为
0,表示无限制。{ "MAX_CPU": "2000", "MAX_MEM": "16000G" }CPU上限(核)(MAX_CPU)
资源组CPU上限。取值范围:[100,100000]。
内存上限(GB)(MAX_MEM)
资源组内存上限,单位为GB。取值范围:[400G,1000000G],无默认值。
说明配置属性
MAX_MEM输入单位时缩写为G,例如16000G。授权用户
资源组的访问权限。默认值为
*,表示允许所有用户访问资源组。OLAP资源组
OLAP资源组面向查询分析场景,适用于100 GB以下低时延查询场景,具备高并发查询响应能力。
参数
说明
节点规格
选择节点规格。
作业工作节点数(WORKERS)
作业工作节点数,每个节点规格为8核64 GB。取值范围:[4,1024],默认值为
4。使用示例如下:
{ "WORKERS": "4" }说明-
计算引擎开通后会自动创建一个名称为
default的资源组,类型为ETL。 -
default资源组仅支持修改属性配置不支持删除和重启。
-
-
-
在资源组详情页中,您可以编辑、删除或重启已创建的资源组。
使用资源组
以下介绍如何使用ETL资源组和OLAP资源组。
使用ETL资源组
ETL资源组可以根据不同访问方式配置参数compute-group指定资源组名称的方式使用。以下分别介绍几个主要应用场景中,通过参数配置ETL资源组。
|
访问方式 |
配置资源组 |
|
在配置管理作业时,在作业配置区域内Spark系统参数配置(configs)中添加参数,语法: |
|
|
在发布周期性作业时,在Spark系统参数配置(conf)中添加参数,语法: |
|
|
在Lindorm计算引擎的JDBC连接地址(endpoint)中添加参数指定计算资源组,语法: |
使用OLAP资源组
OLAP资源组可以通过Lindorm-cli或JDBC方式连接使用。以下介绍如何通过参数配置OLAP资源组。
Lindorm-cli
通过Lindorm-cli使用计算引擎前,请确保已安装Java环境,要求安装JDK 1.8及以上版本。
步骤一:安装Lindorm-cli
根据您的操作系统,下载对应的Lindorm-cli安装包。下载链接如下表所示。
操作系统
下载链接
Linux
Mac(Intel芯片)
Mac(Arm芯片)
Windows
Linux-arm64
解压Lindorm-cli压缩包。
以Linux操作系统为例,执行以下命令解压。
tar zxvf lindorm-cli-linux-latest.tar.gz解压后
lindorm-cli-linux-latest文件夹中为lindorm-cli.exe文件。
步骤二:连接宽表引擎
步骤三:使用OLAP资源组
请根据您连接宽表引擎的方式,选择对应的使用方式。如果连接地址中添加了?_use_ldps_=true&compute-group=<OLAP资源组名称>参数,则已指定了OLAP资源组,反之则未指定。
-
已指定OLAP资源组
SELECT * FROM <Catalog名称>.<目标数据库名>.<目标表名>;说明-
支持的Catalog及其说明,请参见使用须知。
-
如果您使用默认数据库
default,通过Lindorm-cli查询数据时需要为其添加反引号`。例如:SELECT * FROM lindorm_columnar.`default`.test_table;
-
-
未指定OLAP资源组
您可以通过在查询语句中添加相关HINT参数,来指定需要使用的OLAP资源组。示例如下:
SELECT /*+ _use_ldps_(<OLAP资源组名称>), _columnar_index_ */ * FROM <目标数据库名>.<目标表名> LIMIT 50;参数说明
HINT名称
HINT选项
描述
_use_ldps_
资源组名称
使用计算引擎查询,以及查询要使用的资源组名称。
_columnar_index_
无
是否使用列存索引。
说明不填写
_columnar_index_时默认读写宽表引擎。示例
使用计算引擎的
test资源组,查询宽表引擎数据库searchindex_db中名为search_table的表。SELECT /*+ _use_ldps_(test) */ * FROM searchindex_db.search_table LIMIT 50;
JDBC
-
直接连接 OLAP 资源组
OLAP 资源组提供了 VPC 内网可访问的连接地址,支持以 MySQL 协议直接连接 OLAP 资源组并执行 SQL 查询。
-
在实例详情页的配置信息区域,单击计算引擎操作列的资源组管理。
-
将鼠标悬浮在 OLAP 资源组名称之上时,显示 OLAP 资源组 VPC 内网连接地址,获取该地址。
-
然后在创建 JDBC 连接时指定 URL 为已获取的OLAP 资源组 VPC 内网连接地址,并使用 Lindorm 宽表引擎的用户名与密码登录,即可通过 MySQL 协议来连接到 OLAP 资源组。关于 JDBC 应用开发,请参见使用MySQL协议(推荐)。
-
-
通过宽表引擎连接 OLAP 资源组
在连接宽表引擎的URL中指定参数
_use_ldps_=true和compute-group=<compute_group_name>,即可通过宽表引擎来连接 OLAP 资源组。通过JDBC连接宽表引擎,请参见基于SQL的应用开发。注意:根据您连接宽表时使用的连接协议不同,指定相关参数的方法也略有不同。
假设资源组的名字是 olapcg1 ,则连接参数的具体指定方式示例如下:
连接协议
参数指定的示例格式
MySQL
jdbc:mysql://ld-bp17j28j2y7pm****-proxy-sql-lindorm-public.lindorm.rds.aliyuncs.com:33060/?connectionAttributes=_use_ldps_:true,compute-group:olapcg1Avatica
jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060;_use_ldps_=true;compute-group=olapcg1