AI 助理
备案控制台
文档
产品文档
输入文档关键字查找
首页 云原生多模数据库 Lindorm 操作指南 计算引擎 作业管理 计算资源组管理

计算资源组管理

更新时间：
一键部署
产品详情
相关技术圈
我的收藏

当您需要在云原生多模数据库 Lindorm中高效管理计算引擎的资源时，本文档将指导您如何创建计算资源组，并对每个资源组进行配置，以实现资源隔离，优化资源分配，并确保作业按照预期性能运行。

前提条件

已开通计算引擎。如何开通，请参见开通与变配。

创建资源组

  1. 登录Lindorm管理控制台。

  2. 在页面左上角，选择实例所属的地域。

  3. 在实例列表页，单击目标实例ID或者目标实例所在行操作列的管理。

  4. 在实例详情页的配置信息区域，单击计算引擎操作列的资源组管理。

  5. 在资源组详情页中单击创建资源组，配置资源组名称、资源组类型、属性。

    资源组名称

    资源组的名字，仅支持小写字母和数字，且长度不超过63个字符。例如cg0。

    资源组类型

    资源组类型

    描述

    OLAP

    面向查询分析场景，适用于100 GB以下低时延查询场景，具备高并发查询响应能力。

    ETL

    面向数据湖或数据仓库生产场景，提供大规模数据集高吞吐计算能力，弹性计算资源池按需伸缩。

    属性

    说明

    属性参数类型为JSON格式。

    参数

    适用资源组类型

    取值范围

    描述

    使用示例

    WORKERS

    OLAP

    [4,1024]

    作业工作节点数，每个节点规格为8核64 GB。默认值为4。

    {
  "WORKERS": "4"
}

    MAX_CPU

    ETL

    [100,100000]

    资源组CPU上限。

    {
  "MAX_CPU": "2000",
  "MAX_MEM": "16000G"
}

    MAX_MEM

    [400G,1000000G]

    资源组内存上限，单位为GB，无默认值。

    说明

    配置属性MAX_MEM输入单位时缩写为G，例如16000G。

    DAILY_QUOTA

    [0,1000000]

    资源组每日消耗的能力单元CU（Capacity Unit）资源上限，单位为CU*Hour。默认值为0，表示无限制。

    重要

    超出上限，作业会被强制立即删除（稳定性要求高的资源组不建议配置 DAILY_QUOTA）。

    说明

    • 计算引擎开通后会自动创建一个名称为default的资源组，类型为ETL。

    • default资源组仅支持修改属性配置不支持删除和重启。

管理资源组

  1. 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页，单击目标实例ID或者目标实例所在行操作列的管理。

  2. 在实例详情页的配置信息区域，单击计算引擎操作列的资源组管理。

  3. 可以在资源组详情页中编辑、删除或重启资源组。

    说明

    编辑资源组配置后，需要重启资源组才能使配置生效。

使用资源组

以下介绍如何使用ETL资源组和OLAP资源组。

使用ETL资源组

ETL资源组可以根据不同访问方式配置参数compute-group指定资源组名称的方式使用。以下分别介绍几个主要应用场景中，通过参数配置ETL资源组。

访问方式

配置资源组

通过DMS访问计算引擎

在配置管理作业时，在作业配置区域内Spark系统参数配置（configs）中添加参数，语法："compute-group":"<compute_group_name>"。

通过DataWorks访问计算引擎

在发布周期性作业时，在Spark系统参数配置（conf）中添加参数，语法："compute-group":"<compute_group_name>。

通过HiveJDBC访问计算引擎

在Lindorm计算引擎的JDBC连接地址（endpoint）中添加参数指定计算资源组，语法：compute-group=<compute_group_name>。

使用OLAP资源组

OLAP资源组可以通过Lindorm-cli或JDBC方式连接使用。以下介绍如何通过参数配置OLAP资源组。

重要

  • 使用OLAP资源组要求宽表引擎为2.6.5及以上版本。如何查看或升级当前宽表引擎版本，请参见宽表引擎版本说明和升级小版本。

  • OLAP资源组目前仅支持查询，不支持数据写入操作。

Lindorm-cli

说明

通过Lindorm-cli使用计算引擎前，请确保已安装Java环境，要求安装JDK 1.8及以上版本。

步骤一：安装Lindorm-cli

  1. 根据您的操作系统，下载对应的Lindorm-cli安装包。下载链接如下表所示。

    操作系统

    下载链接

    Linux

    lindorm-cli for linux

    Mac

    lindorm-cli for mac

    Windows

    lindorm-cli for windows-x64

    Linux-arm64

    lindorm-cli for linux-arm64

  2. 解压Lindorm-cli压缩包。

    以Linux操作系统为例，执行以下命令解压。

    tar zxvf lindorm-cli-linux-latest.tar.gz

    解压后lindorm-cli-linux-latest文件夹中为lindorm-cli.exe文件。

步骤二：连接宽表引擎

客户端部署在Linux或Mac系统

  1. 跳转至Lindorm-cli.exe所在目录。

    cd <Lindorm-cli.exe所在目录>

  2. 执行以下语句连接宽表引擎。

    ./lindorm-cli -url <jdbc url> -username <用户名> -password <密码>

    参数说明

    参数

    示例值

    获取方法

    jdbc url

    jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060

    Lindorm宽表SQL的连接地址，获取方法请参见访问实例。

    用户名

    user

    如果您忘记用户名密码，可以通过Lindorm宽表引擎的集群管理系统修改密码，具体操作请参见修改用户密码。

    重要

    修改密码后，请通过控制台重启引擎。

    密码

    test

    您也可以在连接宽表引擎时，通过在jdbc url后添加?_use_ldps_=true&compute-group=<OLAP资源组名称>，并在jdbc url参数前后添加半角双引号（""），来指定使用OLAP资源组。具体示例如下：

    ./lindorm-cli -url "jdbc:lindorm:table:url=http://ld-bp12pt80qr38p****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060?_use_ldps_=true&compute-group=test" -username r*** -password t***

    连接成功将返回如下结果：

    Connected to jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060
lindorm-cli version: 1.0.xx

    其中，1.0.xx为Lindorm-cli的版本号。

客户端部署在Windows系统

  1. 打开命令提示符（CMD），跳转至lindorm-cli.exe的所在目录下。

    cd <lindorm-cli.exe所在目录>

  2. 在CMD上执行以下语句连接宽表引擎。

    lindorm-cli -url <jdbc url> -username <用户名> -password <密码>

    参数说明

    参数

    示例值

    获取方法

    jdbc url

    jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060

    Lindorm宽表SQL的连接地址，获取方法请参见访问实例。

    用户名

    user

    如果您忘记用户名密码，可以通过Lindorm宽表引擎的集群管理系统修改密码，具体操作请参见修改用户密码。

    重要

    修改密码后，请通过控制台重启引擎。

    密码

    test

    您也可以在连接宽表引擎时，通过在jdbc url后添加?_use_ldps_=true&compute-group=<OLAP资源组名称>，并在jdbc url参数前后添加半角双引号（""），来指定使用OLAP资源组。具体示例如下：

    ./lindorm-cli -url "jdbc:lindorm:table:url=http://ld-bp12pt80qr38p****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060?_use_ldps_=true&compute-group=test" -username r*** -password t***

    连接成功将返回如下结果：

    Connected to jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060
lindorm-cli version: 1.0.xx

    其中，1.0.xx为Lindorm-cli的版本号。

步骤三：使用OLAP资源组

请根据您连接宽表引擎的方式，选择对应的使用方式。如果连接地址中添加了?_use_ldps_=true&compute-group=<OLAP资源组名称>参数，则已指定了OLAP资源组，反之则未指定。

  • 已指定OLAP资源组

    SELECT * FROM <Catalog名称>.<目标数据库名>.<目标表名>;
    说明

    • 支持的Catalog及其说明，请参见使用须知。

    • 如果您使用默认数据库default，通过Lindorm-cli查询数据时需要为其添加反引号`。例如：SELECT * FROM lindorm_columnar.`default`.test_table;

  • 未指定OLAP资源组

    您可以通过在查询语句中添加相关HINT参数，来指定需要使用的OLAP资源组。示例如下：

    SELECT /*+ _use_ldps_(<OLAP资源组名称>), _columnar_index_ */ * FROM <目标数据库名>.<目标表名> LIMIT 50;

    参数说明

    HINT名称

    HINT选项

    描述

    _use_ldps_

    资源组名称

    使用计算引擎查询，以及查询要使用的资源组名称。

    _columnar_index_

    无

    是否使用列存索引。

    说明

    不填写_columnar_index_时默认读写宽表引擎。

    示例

    使用计算引擎的test资源组，查询宽表引擎数据库searchindex_db中名为search_table的表。

    SELECT /*+ _use_ldps_(test) */ * FROM searchindex_db.search_table LIMIT 50;

JDBC

通过JDBC连接计算引擎时，只需在连接宽表引擎的URL中指定参数_use_ldps_=true&compute-group=<OLAP资源组名称>即可。通过JDBC连接宽表引擎，请参见基于SQL的应用开发。

上一篇：列存索引延迟告警下一篇：通过REST API管理作业
文档推荐