计算引擎ETL资源组提供Serverless弹性计算服务,全兼容Spark生态,支持离线数据生产。本文介绍Lindorm计算引擎ETL资源组的开通和管理方法。
前提条件
开通ETL资源组
登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
在实例详情页的配置信息区域,单击计算引擎操作列的资源组管理。
在资源组详情页中单击创建资源组,配置以下内容:
资源组类型:选择ETL。
资源组名称:资源组的名字,仅支持小写字母和数字,且长度不超过63个字符。例如
etlcg0
。单日资源消耗限额:资源量消耗上限,单位为CUH(1CU运行一小时),0表示不限制,当天超过单日限额后无法再提交作业。
CPU上限(核):CPU资源使用上限,当正在运行节点的CPU超过CPU上限后,无法再提交作业。
内存上限(GB):内存资源使用上限,当正在运行节点的内存超过内存上限后,无法再提交作业。
授权用户:允许向当前资源组提交作业的用户,
*
表示允许所有用户提交作业。
单击确定,创建ETL资源组。
提交作业到指定ETL资源组
在创建资源组后,您可以通过在作业配置中添加compute-group=${ETLComputeGroupName}
参数,将作业提交到指定的ETL资源组。配置完成后,作业将在该资源组中运行,并占用指定资源组的资源。
编辑资源组配置
ETL资源组在创建后可以修改单日资源消耗限额、CPU上限、内存上限和授权用户。
在资源组详情页面,单击操作列的编辑,
弹出更新资源组的页面,可以选择修改以上信息。
修改完成,单击确定,更新资源组配置。
删除资源组
当资源组不再使用时,可以删除资源组。
在资源组详情页面,单击操作列的
。
单击弹出的删除。
单击确定,删除ETL资源组。
说明
在删除资源组前单击实例控制台的
,确认无作业在当前资源组运行。删除资源组后,后续作业无法再提交到当前资源组。该文章对您有帮助吗?