Ververica Flink实时任务资源自定义,即指实时计算Flink配置细粒度资源的专家模式 (BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。系统会自动根据您配置的资源需求,以Native K8s的模式运行作业,TM的规格和个数将会根据Slot的规格和作业并发度,由系统自动决定。本文将介绍如何在Dataphin自定义Ververica Flink实时任务的资源。
Ververica Flink实时任务资源自定义入口
在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发。
在数据开发页面的顶部菜单栏中,选择项目。
在左侧导航栏中选择数据处理 > 计算任务。在右侧计算任务列表中,单击目标任务。
在目标计算任务页签下,单击右侧边栏中的配置,打开配置面板。
在配置面板中单击实时模式页签,在实时模式页签下的资源配置区域中,将资源配置类型配置项,选择为自定义配置。
单击自定义配置后的去配置。
操作步骤
在资源配置页面,为您展示一张拓扑图,图中每个方框代表了一个计算任务,都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算,可以有效避免数据的网络传播,提升性能。图中当前的资源配置就是系统默认为您推荐的资源配置。
单击需要配置资源的Group右上角的后,在自定义配置Group执行参数和自定义配置StreamExecCalc执行参数对话框中配置参数。
自定义配置Group执行参数。
参数
描述
CPU
定义当前节点运行的CPU。
Heap Memory
Heap Memory是堆内存,供Java应用程序使用的内存,单位为MB或GB。
Heap Memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制,在一般的blink程序中,都会需要一定的Heap Memory开销,,例如申请一定的Heap Memory作为程序的缓存等,因此您可以按程序的规模来设置其大小。
Off-Heap Memory
定义堆外内存大小,单位为MB或GB。
并发数
批量更新当前SLOT节点下所有OPERATOR节点的并发数。单击SLOT节点(最外层)的编辑图标,在弹出的对话框内配置并发数。
支持输入1~32768之间的正整数,若为空在不进行更新。
说明仅SLOT节点支持批量修改并发数。
自定义配置StreamExecCalc执行参数。
参数
描述
并发数
并发数默认为1,可填任意大于0的整数,-1代表自动推断。
Chaining策略
ALWAYS:始终可以和上下游算子Chain一起。
HEAD:当前算子作为Chain的头节点,只和上游算子断开Chain,下游节点仍和当前算子Chain在一起。
NEVER:当前算子不会与上下游算子进行Chain。
算子State过期时间设置
若当前OPEREATOR节点支持state,则支持分别对各个state的过期时间进行设置。
过期时间单位支持设置为天、小时、分钟或秒。
完成参数配置后,单击确定。
配置完成后,单击页面右上方的保存。
重要如果您想继续使用系统推荐的资源配置,则单击页面右上方的重置为系统初始。
同时您也可以保存资源配置记录,单击资源信息记录后的保存当前配置为新纪录。在保存资源记录对话框中,输入资源记录名称后,单击确定。
对已有的资源信息记录,您可以执行以下操作。
操作
描述
查看版本信息
单击某个记录操作列下的图标,查看版本信息。
启用记录
单击某个记录的操作列下的图标。
在提示对话框中,单击确定。
删除记录
单击某个记录操作列下的图标。
在提示对话框中,单击确定。