Ververica Flink实时任务资源自定义,即指实时计算Flink配置细粒度资源的专家模式 (BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。系统会自动根据您配置的资源需求,以Native K8s的模式运行作业,TM的规格和个数将会根据Slot的规格和作业并发度,由系统自动决定。本文将介绍如何在Dataphin自定义Ververica Flink实时任务的资源。
Ververica Flink实时任务资源自定义入口
在Dataphin首页,单击顶部菜单栏研发,进入数据开发页面。
在数据开发页面,按照下图操作指引,单击选择FLINK_SQL任务的自定义配置。
操作步骤
在资源配置页面,为您展示一张拓扑图,图中每个方框代表了一个计算任务,都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算,可以有效避免数据的网络传播,提升性能。图中当前的资源配置就是系统默认为您推荐的资源配置。
单击需要配置资源的Group右上角的后,在自定义配置Group执行参数和自定义配置StreamExecCalc执行参数对话框中配置参数。
自定义配置Group执行参数。
参数
描述
CPU
定义当前节点运行的CPU。
heap_memory
单位为MB,heap_memory是堆内存,供Java应用程序使用的内存。
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制,在一般的blink程序中,都会需要一定的heap_memory开销,,例如申请一定的heap_memory作为程序的缓存等,因此您可以按程序的规模来设置其大小。
Off-Heap Memory
定义堆外内存大小。
自定义配置StreamExecCalc执行参数。
完成参数配置后,单击确定。
说明并发数默认为1,可填任意大于0的整数,-1代表自动推断。
配置完成后,单击页面右上方的保存。
重要如果您想继续使用系统推荐的资源配置,则单击页面右上方的重置为系统初始。
同时您也可以保存资源配置记录,单击资源信息记录后的保存当前配置为新纪录。在保存资源记录对话框中,输入资源记录名称后,单击确定。
对已有的资源信息记录,您可以执行以下操作。
操作
描述
查看版本信息
单击某个记录操作列下的图标,查看版本信息。
启用记录
单击某个记录的操作列下的图标。
在提示对话框中,单击确定。
删除记录
单击某个记录操作列下的图标。
在提示对话框中,单击确定。