当您需要在云原生多模数据库 Lindorm中高效管理计算引擎的资源时,本文档将指导您如何创建计算资源组,并对每个资源组进行配置,以实现资源隔离,优化资源分配,并确保作业按照预期性能运行。
前提条件
已开通计算引擎。如何开通,请参见开通与变配。
创建和管理资源组
- 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。 
- 在实例详情页的配置信息区域,单击计算引擎操作列的资源组管理。  
- 在资源组详情页中单击创建资源组,配置以下内容: - 资源组名称:资源组的名字,仅支持小写字母和数字,且长度不超过63个字符。例如 - cg0。
- 资源组类型:支持ETL资源组和OLAP资源组。 
- 其他配置项: - ETL资源组- ETL资源组面向数据湖或数据仓库生产场景,提供大规模数据集高吞吐计算能力,弹性计算资源池按需伸缩。 - 参数 - 说明 - 使用示例 - 单日资源消耗限额(DAILY_QUOTA) - 资源组每日消耗的能力单元CU(Capacity Unit)资源上限,单位为 - CU*Hour。默认值为- 100000。重要- 超出上限,作业会被强制立即删除。稳定性要求高的资源组可以配置为 - 0,表示无限制。- { "MAX_CPU": "2000", "MAX_MEM": "16000G" }- CPU上限(核)(MAX_CPU) - 资源组CPU上限。取值范围:[100,100000]。 - 内存上限(GB)(MAX_MEM) - 资源组内存上限,单位为GB。取值范围:[400G,1000000G],无默认值。 说明- 配置属性 - MAX_MEM输入单位时缩写为- G,例如- 16000G。- 授权用户 - 资源组的访问权限。默认值为 - *,表示允许所有用户访问资源组。- OLAP资源组- OLAP资源组面向查询分析场景,适用于100 GB以下低时延查询场景,具备高并发查询响应能力。 - 参数 - 说明 - 节点规格 - 选择节点规格。 - 作业工作节点数(WORKERS) - 作业工作节点数,每个节点规格为8核64 GB。取值范围:[4,1024],默认值为 - 4。- 使用示例如下: - { "WORKERS": "4" }说明- 计算引擎开通后会自动创建一个名称为 - default的资源组,类型为ETL。
- default资源组仅支持修改属性配置不支持删除和重启。
 
 
- 在资源组详情页中,您可以编辑、删除或重启已创建的资源组。 
使用资源组
以下介绍如何使用ETL资源组和OLAP资源组。
使用ETL资源组
ETL资源组可以根据不同访问方式配置参数compute-group指定资源组名称的方式使用。以下分别介绍几个主要应用场景中,通过参数配置ETL资源组。
| 访问方式 | 配置资源组 | 
| 在配置管理作业时,在作业配置区域内Spark系统参数配置(configs)中添加参数,语法: | |
| 在发布周期性作业时,在Spark系统参数配置(conf)中添加参数,语法: | |
| 在Lindorm计算引擎的JDBC连接地址(endpoint)中添加参数指定计算资源组,语法: | 
使用OLAP资源组
OLAP资源组可以通过Lindorm-cli或JDBC方式连接使用。以下介绍如何通过参数配置OLAP资源组。
Lindorm-cli
通过Lindorm-cli使用计算引擎前,请确保已安装Java环境,要求安装JDK 1.8及以上版本。
步骤一:安装Lindorm-cli
- 根据您的操作系统,下载对应的Lindorm-cli安装包。下载链接如下表所示。 - 操作系统 - 下载链接 - Linux - Mac(Intel芯片) - Mac(Arm芯片) - Windows - Linux-arm64 
- 解压Lindorm-cli压缩包。 - 以Linux操作系统为例,执行以下命令解压。 - tar zxvf lindorm-cli-linux-latest.tar.gz- 解压后 - lindorm-cli-linux-latest文件夹中为- lindorm-cli.exe文件。
步骤二:连接宽表引擎
步骤三:使用OLAP资源组
请根据您连接宽表引擎的方式,选择对应的使用方式。如果连接地址中添加了?_use_ldps_=true&compute-group=<OLAP资源组名称>参数,则已指定了OLAP资源组,反之则未指定。
- 已指定OLAP资源组 - SELECT * FROM <Catalog名称>.<目标数据库名>.<目标表名>;说明- 支持的Catalog及其说明,请参见使用须知。 
- 如果您使用默认数据库 - default,通过Lindorm-cli查询数据时需要为其添加反引号- `。例如:- SELECT * FROM lindorm_columnar.`default`.test_table;
 
- 未指定OLAP资源组 - 您可以通过在查询语句中添加相关HINT参数,来指定需要使用的OLAP资源组。示例如下: - SELECT /*+ _use_ldps_(<OLAP资源组名称>), _columnar_index_ */ * FROM <目标数据库名>.<目标表名> LIMIT 50;- 参数说明 - HINT名称 - HINT选项 - 描述 - _use_ldps_ - 资源组名称 - 使用计算引擎查询,以及查询要使用的资源组名称。 - _columnar_index_ - 无 - 是否使用列存索引。 说明- 不填写 - _columnar_index_时默认读写宽表引擎。- 示例 - 使用计算引擎的 - test资源组,查询宽表引擎数据库- searchindex_db中名为- search_table的表。- SELECT /*+ _use_ldps_(test) */ * FROM searchindex_db.search_table LIMIT 50;
JDBC
- 直接连接 OLAP 资源组 - OLAP 资源组提供了 VPC 内网可访问的连接地址,支持以 MySQL 协议直接连接 OLAP 资源组并执行 SQL 查询。 - 在实例详情页的配置信息区域,单击计算引擎操作列的资源组管理。 
- 将鼠标悬浮在 OLAP 资源组名称之上时,显示 OLAP 资源组 VPC 内网连接地址,获取该地址。 
- 然后在创建 JDBC 连接时指定 URL 为已获取的OLAP 资源组 VPC 内网连接地址,并使用 Lindorm 宽表引擎的用户名与密码登录,即可通过 MySQL 协议来连接到 OLAP 资源组。关于 JDBC 应用开发,请参见使用MySQL协议(推荐)。 
 
- 通过宽表引擎连接 OLAP 资源组 - 在连接宽表引擎的URL中指定参数 - _use_ldps_=true和- compute-group=<compute_group_name>,即可通过宽表引擎来连接 OLAP 资源组。通过JDBC连接宽表引擎,请参见基于SQL的应用开发。- 注意:根据您连接宽表时使用的连接协议不同,指定相关参数的方法也略有不同。 - 假设资源组的名字是 olapcg1 ,则连接参数的具体指定方式示例如下: - 连接协议 - 参数指定的示例格式 - MySQL - jdbc:mysql://ld-bp17j28j2y7pm****-proxy-sql-lindorm-public.lindorm.rds.aliyuncs.com:33060/?connectionAttributes=_use_ldps_:true,compute-group:olapcg1- Avatica - jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060;_use_ldps_=true;compute-group=olapcg1