Ververica Flink实时任务资源自定义

Ververica Flink实时任务资源自定义,即指实时计算Flink配置细粒度资源的专家模式 (BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。系统会自动根据您配置的资源需求,以Native K8s的模式运行作业,TM的规格和个数将会根据Slot的规格和作业并发度,由系统自动决定。本文将介绍如何在Dataphin自定义Ververica Flink实时任务的资源。

Ververica Flink实时任务资源自定义入口

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 在数据开发页面的顶部菜单栏中,选择项目。

  3. 在左侧导航栏中选择数据处理 > 计算任务。在右侧计算任务列表中,单击目标任务。

  4. 在目标计算任务页签下,单击右侧边栏中的配置,打开配置面板。

  5. 在配置面板中单击实时模式页签,在实时模式页签下的资源配置区域中,将资源配置类型配置项,选择为自定义配置

  6. 单击自定义配置后的去配置

操作步骤

在资源配置页面,为您展示一张拓扑图,图中每个方框代表了一个计算任务,都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算,可以有效避免数据的网络传播,提升性能。图中当前的资源配置就是系统默认为您推荐的资源配置。

  1. 单击需要配置资源的Group右上角的image.png后,在自定义配置Group执行参数自定义配置StreamExecCalc执行参数对话框中配置参数。

    • 自定义配置Group执行参

      参数

      描述

      CPU

      定义当前节点运行的CPU。

      Heap Memory

      Heap Memory是堆内存,供Java应用程序使用的内存,单位为MB或GB。

      Heap Memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制,在一般的blink程序中,都会需要一定的Heap Memory开销,,例如申请一定的Heap Memory作为程序的缓存等,因此您可以按程序的规模来设置其大小。

      Off-Heap Memory

      定义堆外内存大小,单位为MB或GB。

      并发数

      批量更新当前SLOT节点下所有OPERATOR节点的并发数。单击SLOT节点(最外层)的编辑图标,在弹出的对话框内配置并发数。

      支持输入1~32768之间的正整数,若为空在不进行更新。

      说明

      仅SLOT节点支持批量修改并发数。

    • 自定义配置StreamExecCalc执行参数。

      image.png

      参数

      描述

      并发数

      并发数默认为1,可填任意大于0的整数,-1代表自动推断。

      Chaining策略

      • ALWAYS始终可以和上下游算子Chain一起。

      • HEAD当前算子作为Chain的头节点,只和上游算子断开Chain,下游节点仍和当前算子Chain在一起。

      • NEVER当前算子不会与上下游算子进行Chain。

      算子State过期时间设置

      若当前OPEREATOR节点支持state,则支持分别对各个state的过期时间进行设置。

      过期时间单位支持设置为天、小时、分钟或秒。

  2. 完成参数配置后,单击确定

  3. 配置完成后,单击页面右上方的保存

    重要

    如果您想继续使用系统推荐的资源配置,则单击页面右上方的重置为系统初始

    同时您也可以保存资源配置记录,单击资源信息记录后的保存当前配置为新纪录。在保存资源记录对话框中,输入资源记录名称后,单击确定。 

    对已有的资源信息记录,您可以执行以下操作。

    操作

    描述

    查看版本信息

    单击某个记录操作列下的tesga图标,查看版本信息。

    启用记录

    1. 单击某个记录的操作列下的taga图标。

    2. 提示对话框中,单击确定

    删除记录

    1. 单击某个记录操作列下的teag图标。

    2. 提示对话框中,单击确定