开通与管理

计算引擎ETL资源组提供Serverless弹性计算服务和常驻计算服务,全兼容Spark生态,支持离线数据生产。本文介绍Lindorm计算引擎ETL资源组的开通和管理方法。

前提条件

开通ETL资源组

  1. 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  2. 实例详情页的配置信息区域,单击计算引擎操作列的资源组管理

    image

  3. 资源组详情页中单击创建资源组,配置以下内容:

    • 资源组类型选择ETL

    • 资源组名称资源组的名字,仅支持小写字母和数字,且长度不超过63个字符。例如etlcg0

    • 是否常驻:即ETL资源组类型,若选择不常驻,则使用Serverless弹性计算服务,计算资源按需申请和释放。若选择常驻,则计算资源申请后不会释放。

    • 需要配置参数如下:

      是否常驻

      配置参数

      不常驻

      单日资源消耗限额:资源量消耗上限,取值范围为0~100,000,单位为 CUH(1CU 运行一小时),0 表示不限制,当天超过单日限额后无法再提交作业。

      CPU上限(核):CPU 资源使用上限,最小值不可小于100,当正在运行节点的 CPU 超过 CPU 上限后,无法再提交作业。

      内存上限(GB):内存资源使用上限,最小值不可小于400,当正在运行节点的内存超过内存上限后,无法再提交作业。

      授权用户:允许向当前资源组提交作业的用户,*表示允许所有用户提交作业。

      常驻

      节点规格:Spark集群工作节点规格。

      作业工作节点数:Spark集群工作节点数量。

  4. 单击确定,创建ETL资源组。

提交作业到指定ETL资源组

在创建资源组后,您可以通过在作业配置中添加compute-group=${ETLComputeGroupName} 参数,将作业提交到指定的ETL资源组。配置完成后,作业将在该资源组中运行,并占用指定资源组的资源。

说明

目前ETL“常驻”资源组仅支持ScalaJava实现的Jar作业类型提交。

编辑资源组配置

ETL资源组在创建后可以修改单日资源消耗限额、CPU上限、内存上限和授权用户。

  1. 资源组详情页面,单击操作列的编辑

  2. 弹出更新资源组的页面,可以选择修改以上信息。

  3. 修改完成,单击确定,更新资源组配置。

删除资源组

当资源组不再使用时,可以删除资源组。

  1. 资源组详情页面,单击操作列的image

  2. 单击弹出的删除

  3. 单击确定,删除ETL资源组。

说明

在删除资源组前单击实例控制台的计算引擎 > 实例监控,确认无作业在当前资源组运行。删除资源组后,后续作业无法再提交到当前资源组。