Alibaba Blink流批一体任务实时模式的资源配置支持配置任务的资源队列、引擎版本以及资源配置类型和自动调优。本文为您介绍如何配置Alibaba Blink流批一体任务实时模式的资源配置。
操作步骤
请参见实时模式配置入口,进入实时模式配置页面。
在实时模式配置面板中资源配置区域,配置实时模式的资源配置信息。
参数
描述
资源队列
默认为创建Blink_SQL任务时所选择的资源队列。您可在此处进行资源队列切换。
重要切换后提交生效的任务执行可能存在差异,请谨慎操作。
引擎版本
默认为创建Blink_SQL任务时选择的引擎版本。您可在此处切换引擎版本。
资源配置类型
系统推荐配置
即实时计算Flink配置细粒度资源的智能模式(BETA),智能模式为专家模式的升级版。在智能模式下,作业将启用专家模式的资源配置,同时开启AutoPilot自动调优功能。
在智能配置模式下,您无需配置相关资源,AutoPilot会自动为作业生成资源配置,并根据作业的运行情况帮您进行资源配置的调优,在确保作业处于健康的状态下,优化作业资源的使用。AutoPilot详情请参见配置自动调优。
自定义配置
即实时计算Flink配置细粒度资源的专家模式 (BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。
系统会自动根据您配置的资源需求,以Native K8s的模式运行作业,TM的规格和个数将会根据Slot的规格和作业并发度,由系统自动决定。更多关于配置细粒度资源的内容,请参见配置作业部署信息。
在Dataphin中自定义Blink SQL任务资源。具体操作,请参见Alibaba Blink实时模式资源自定义。
资源配置记录
资源配置信息变更时,您可单击保存当前配置为新纪录。对于保存的资源配置记录信息您可进行查看详情、启动或删除操作。
自动调优
单击开启自动调优可设置当前任务运行时的最大CU数和期望最大内存。
最大CU数:作业可用的CU资源上限,单位为CU, 1CU=1 Core + 4G MEM 。最大CU数需小于项目可用CU数。
期望最大内存:作业期望可用的内存资源上限
单击确定,完成任务实时模式的资源配置。