开通与管理

计算引擎ETL资源组提供Serverless弹性计算服务,全兼容Spark生态,支持离线数据生产。本文介绍Lindorm计算引擎ETL资源组的开通和管理方法。

前提条件

开通ETL资源组

  1. 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  2. 实例详情页的配置信息区域,单击计算引擎操作列的资源组管理

    image

  3. 资源组详情页中单击创建资源组,配置以下内容:

    • 资源组类型选择ETL

    • 资源组名称资源组的名字,仅支持小写字母和数字,且长度不超过63个字符。例如etlcg0

    • 单日资源消耗限额资源量消耗上限,单位为CUH(1CU运行一小时),0表示不限制,当天超过单日限额后无法再提交作业。

    • CPU上限(核)CPU资源使用上限,当正在运行节点的CPU超过CPU上限后,无法再提交作业。

    • 内存上限(GB)内存资源使用上限,当正在运行节点的内存超过内存上限后,无法再提交作业。

    • 授权用户允许向当前资源组提交作业的用户,*表示允许所有用户提交作业。

  4. 单击确定,创建ETL资源组。

提交作业到指定ETL资源组

在创建资源组后,您可以通过在作业配置中添加compute-group=${ETLComputeGroupName} 参数,将作业提交到指定的ETL资源组。配置完成后,作业将在该资源组中运行,并占用指定资源组的资源。

编辑资源组配置

ETL资源组在创建后可以修改单日资源消耗限额、CPU上限、内存上限和授权用户。

  1. 资源组详情页面,单击操作列的编辑

  2. 弹出更新资源组的页面,可以选择修改以上信息。

  3. 修改完成,单击确定,更新资源组配置。

删除资源组

当资源组不再使用时,可以删除资源组。

  1. 资源组详情页面,单击操作列的image

  2. 单击弹出的删除

  3. 单击确定,删除ETL资源组。

说明

在删除资源组前单击实例控制台的计算引擎 > 实例监控,确认无作业在当前资源组运行。删除资源组后,后续作业无法再提交到当前资源组。