新建和管理资源组
本文档介绍云原生数据仓库 AnalyticDB MySQL 版中资源组的新建与管理操作,包括计费规则、资源组的创建、修改、删除及监控方法。
使用限制
数仓版集群需同时满足以下条件:
模式为弹性模式。
计算资源的规格为32核及以上。
内核版本为3.1.3.2及以上。
说明请在云原生数据仓库AnalyticDB MySQL控制台集群信息页面的配置信息区域,查看和升级内核版本。
计费说明
企业版、基础版或湖仓版
Interactive型资源组和Job型资源组使用的弹性资源,会产生ACU弹性资源费用。
AI资源组Ray Cluster部署类型:
Worker资源类型为CPU时,AI资源组使用的弹性资源,会产生ACU弹性资源费用。
Worker资源类型为GPU时,AI资源组会按照GPU的规格、数量计费。
Worker磁盘空间会按照设置的存储空间大小计费。
您可以通过如下方法查看资源组使用的弹性资源量:
企业版和基础版:在集群管理>资源管理>资源总览页面,可以查看所有资源组使用的总资源和预留资源。总资源和预留资源的差值为弹性资源用量。
湖仓版:在集群管理>资源管理>资源总览页面,可以查看所有资源组使用的总计算资源和计算预留资源。总计算资源和计算预留资源的差值为弹性资源用量。
数仓版
资源组费用与计算资源一致,只收取计算资源的费用。
新建资源组
企业版、基础版或湖仓版
每个集群默认都有一个Interactive型资源组(user_default),但内核版本3.2.2.8及以上的新购集群,默认还有一个Job型资源组(serverless)。在没有其他资源组的情况下,所有的XIHE查询会由user_default资源组执行;所有的Spark作业(包括Spark Jar和Spark SQL)会由serverless资源组执行。如果有查询的资源隔离需求,您需要新建资源组。
登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,然后单击目标集群ID。
在左侧导航栏,单击集群管理>资源管理,单击资源组管理页签。然后在资源组列表的右上角,单击新增资源组。
为资源组命名,并选择任务类型。
高QPS低RT的在线场景,请选择Interactive。
Interactive型资源组使用常驻的计算资源,以MPP方式执行查询,响应时间较快,通常在毫秒级。
高吞吐离线场景,请选择Job。
Job型资源组会拉起临时计算资源,并以BSP方式执行查询,响应时间较慢,通常在秒级或分钟级。拉起的临时计算资源量在0 ACU和Job型资源组最大资源之间,具体资源量大小取决于所运行的任务大小。
异构计算场景,请选择AI。
AI资源组支撑GPU和CPU异构计算资源,支持MLSQL模型,Ray托管计算等多种部署类型。
重要资源组创建成功后,不能修改任务类型。
选择的任务类型不同,需要设置的属性也不同。设置属性后,单击确定。
Interactive型资源组属性
参数名称
说明
引擎
XIHE引擎:该资源组仅支持执行XIHE SQL。
Spark引擎:该资源组仅支持执行Spark SQL作业,且Spark SQL作业会以交互式方式进行处理。
重要资源组创建成功后,不能修改引擎。
自动停止
当Interactive型资源组的闲置状态到达指定时长后,即执行完最后一条命令并闲置几分钟后,资源组已启用的Cluster将自动释放。
开启自动停止,可减少资源浪费,节省资源成本。但再次执行查询时,需要重新拉起资源,会有一定延迟。
重要仅引擎选择为Spark时支持该参数。
Cluster大小
引擎为XIHE时:单个Cluster的大小,即ACU数,可任意填写,最小为16 ACU。
引擎为Spark时:单个Cluster的大小即分配给一个Spark应用的ACU数。最小为24 ACU。每个Spark Interactive型资源组中可以运行多个Spark应用,其中最小Cluster个数和最大Cluster个数表示资源组中可运行的Spark应用数量。
Cluster大小与Spark Driver、Spark Executor规格映射关系,请参见附录:Cluster大小与Spark Driver和Spark Executor规格映射关系。
最小Cluster个数
最大Cluster个数
最小Cluster个数:资源组内至少需要运行的Cluster个数,最小为1。
最大Cluster个数:Cluster个数可以扩容到的最大值,最大为10。
最小Cluster个数和最大Cluster个数不同时,AnalyticDB for MySQL会根据资源组的查询负载在最小Cluster个数和最大Cluster个数之间动态地扩缩容Cluster个数。
最小Cluster个数和最大Cluster个数相同时,AnalyticDB for MySQL在资源组创建成功后就会启动指定的Cluster个数,有效地静态控制资源组的计算资源总量。
说明最小Cluster个数或最大Cluster个数大于等于2时,则表示该资源组开启Multi-Cluster功能。Multi-Cluster功能详情,请参见Multi-Cluster弹性模型。
作业投递规则
将超过查询执行时间阈值的查询投递到目标资源组执行。详情请参见作业投递。
重要仅引擎选择为XIHE时支持该参数。
Spark 配置
Spark应用配置参数,应用于该资源组执行的所有Spark作业。如需为某个Spark作业单独配置参数,可以在提交作业时通过代码设置。
Spark配置参数详情,请参见Spark应用配置参数说明。
重要仅引擎选择为Spark时支持该参数。
Job型资源组属性
参数名称
说明
计算最小资源
最小取值为0 ACU。
重要资源组创建成功后,不支持修改计算最小资源。
计算最大资源
控制台可设置的计算最大资源为1024 ACU,步长为8 ACU。若您有需求,可提交工单联系技术支持调大资源。
竞价实例
是否开启竞价实例。
开启竞价实例后,运行在Job型资源组上的Spark作业会尝试使用竞价实例资源。更多信息,请参见竞价实例。
Spark 配置
Spark应用配置参数,应用于该资源组执行的所有Spark作业。如需为某个Spark作业单独配置参数,可以在提交作业时通过代码设置。
Spark配置参数详情,请参见Spark应用配置参数说明。
AI资源组
参数名称
说明
部署类型
选择RayCluster。
Head资源规格
Head负责管理Ray元数据、运行GCS服务(Global Control Store)、参与Task调度,但不执行Task。
Head资源规格即CPU核数,可选择small、m.xlarge、m.2xlarge等规格,各个规格所对应的CPU核数与Spark资源规格一致,详情请参见Spark资源规格列表。
重要Head主要负责为作业调度,请参照Ray Cluster的整体规模选择Head规格。
Worker Group名称
Worker Group的名称,您可以自定义。一个AI资源组中可以配置多个不同名的Woker Group。
Worker资源类型
支持CPU和GPU两种类型。
若您的业务涉及日常计算任务、多任务处理或复杂的逻辑运算建议您选择CPU。
若您的业务涉及大量数据并行处理、机器学习或深度学习训练建议您选择GPU。
Worker资源规格
若Worker资源类型为CPU,Woker资源规格可选择small、m.xlarge、m.2xlarge等规格,各个规格所对应的CPU核数与Spark资源规格一致,详情请参见Spark资源规格列表。
若Worker资源类型为GPU,由于涉及到GPU机型、库存等问题,请提交工单联系技术支持协助选型。
Worker磁盘空间
磁盘空间主要用于存储Ray日志、临时数据以及Ray分布式对象存储的溢出数据。单位:GB,取值范围是[30,2000]。默认100GB。
重要磁盘仅作为临时存储空间,请勿将其用作长期数据存储。
最小Worker个数
最大Worker个数
最小Worker个数:一个Worker Group中至少需要运行的Woker个数,最小为1。
最大Worker个数:一个Worker Group中最多需要运行的Woker个数,最大为8。
Worker Group支持自动弹性,且每个Worker Group都能独立弹性。当最小Woker个数和最大Woker个数不同时,AnalyticDB for MySQL会根据任务的Task个数在最小Woker个数和最大Woker个数之间动态地扩缩容Woker个数。若存在多个Worker Group,将会自动进行最佳匹配,从而避免单个Worker Group过载或闲置的情况。
分配单元
单个Worker节点上分配多少张GPU。例如分配单元为1/3,则表示每个Worker节点配置1/3张GPU。
重要仅Worker资源类型为GPU时,填写该参数。
数仓版
登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,然后单击目标集群ID。
在左侧导航栏,单击资源组管理。
在资源组管理页面,单击资源组列表右上角的新增资源组。
填写资源组信息。
参数名称
说明
资源组名称
自定义资源组的名称。输入长度在2-30位,以字母开头,只能包含字母、数字和下划线。
查询类型
该资源组常用SQL查询的类型。详情请参见查询执行模式。
Default_Type:默认查询类型。
Batch:适用于数据量较大的复杂查询,如清洗类查询(Extract-Transform-Load)。支持中间数据结果落磁盘,大数据量情况下查询性能有所降低,但计算节点不会因为查询数据量太大而失败。
Interactive:适用于延迟要求高的实时分析查询。基于纯内存的快速交互式查询类型,查询性能好,但计算数据量超出机器处理能力情况下查询会失败。
资源量
根据实际情况选择分配给该资源组的资源量。
单击确定完成新建资源组。
修改资源组
企业版、基础版或湖仓版
支持修改的属性
自定义资源组(即自己新建的资源组)支持修改以下属性:
Interactive型资源组的自动停止、Cluster大小、最小Cluster个数、最大Cluster个数、作业投递规则和Spark配置。
Job型资源组的计算最大资源、竞价实例和Spark配置。
AI资源组(Ray Cluster部署类型)Head资源规格、Worker资源类型、Worker资源规格、Worker磁盘空间、最小Worker个数、最大Worker个数。
其他属性,包括资源组名称、任务类型、Interactive型资源组的引擎、Job型资源组的计算最小资源,AI资源组的部署类型、Worker Group名称均不支持修改。
默认资源组(即名称为user_default和serverless的资源组):
企业版和基础版的user_default资源组仅支持修改作业投递规则,serverless资源组不支持任何修改。
湖仓版的user_default资源组支持修改计算预留资源和作业投递规则,serverless资源组不支持任何修改。
操作步骤
在资源组管理页面,单击目标资源组操作列中的修改。
在弹出的修改资源组面板中,修改属性值。然后单击确定。
当资源组状态变为“运行中”时,修改生效。
数仓版
资源组创建完成后,可以对资源组的查询类型或资源量进行修改。
支持修改的属性
资源组创建完成后,可以对资源组的查询类型或资源量进行修改。
默认资源组(即名称为user_default的资源组)仅支持修改查询类型,无法手动修改资源量。
说明默认资源组的资源量=集群总资源量-集群中其他资源组占用的资源量。
自定义资源组(即自己新建的资源组)支持修改查询类型和资源量。
操作方法
在资源组管理页面,单击目标资源组操作列中的修改。
根据需求修改查询类型或资源量。
修改完毕后,单击确定。
修改AnalyticDB for MySQL资源组的资源量,可实时生效。
删除资源组
不支持删除默认资源组(user_default资源组、serverless资源组)。
删除资源组的影响
如果有正在运行的任务,删除资源组将导致资源组中运行的任务中断。
如果在XIHE SQL脚本或Spark作业中指定了某资源组,请在删除该资源组后修改XIHE SQL脚本或Spark作业中指定的资源组,否则XIHE SQL作业将由默认资源组执行,Spark作业将报错。
操作步骤
在资源组管理页面,单击目标资源组操作列中的删除。在弹窗中单击确定,即可删除资源组。
监控资源用量(企业版、基础版或湖仓版)
您可以查看集群级别的资源用量,资源组级别的资源和负载,以及作业级别的资源消耗。各个监控项指标的详细说明,请参见资源组监控。
查询集群的预留和弹性资源
企业版和基础版:在集群管理>资源管理>资源总览页面,查看集群所有资源组在某个时间点的总资源和预留资源。总资源和预留资源的差值为弹性资源用量。
湖仓版:在集群管理>资源管理>资源总览页面,查看集群所有资源组在某个时间点的总计算资源和计算预留资源。总计算资源和计算预留资源的差值为弹性资源用量。
查询单个资源组的资源和负载
您可以查看单个资源组实际占用的计算资源。您也可以根据以下指标了解资源组的负载情况:运行中和排队中的XIHE SQL数量、Spark引擎个数和连接数。
在集群管理>资源管理>资源组管理页面,找到目标资源组,单击监控,查看单个资源组实际使用的计算资源。
查询单个作业消耗的资源
作业使用统计提供了以下作业的资源消耗统计:XIHE BSP作业、Spark作业、AnalyticDB for MySQL控制台的SLS/Kafka数据同步和数据迁移任务。
您可以在集群管理>资源管理>作业使用统计页面,查看作业消耗的总资源、预留资源、弹性资源、竞价实例资源。
常见问题
集群的预留资源为32 ACU。默认资源组和新建的自定义资源组同时消耗32 ACU的预留资源吗?
如果您的集群为企业版或基础版,预留资源只能全部分配给默认资源组user_default。默认资源组serverless、新建的Job型资源组和Interactive型资源组只能消耗弹性资源。
如果您的集群为湖仓版,预留资源可以分配给默认资源组user_default,也可以分配给默认资源组serverless、新建的Job型资源组或Interactive型资源组。默认资源组user_default的计算最小/最大资源,即为分配给默认资源组user_default的预留资源。集群计算预留资源与默认资源组user_default计算最小/最大资源的差值,即为可以分配给默认资源组serverless、新建的Job型资源组或Interactive型资源组的资源。
相关API
如何使用OpenAPI新建、修改、删除资源组,为资源组绑定或解绑数据库账号: