Ververica Flink实时任务资源自定义

Ververica Flink实时任务资源自定义,即指实时计算Flink配置细粒度资源的专家模式 (BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。系统会自动根据您配置的资源需求,以Native K8s的模式运行作业,TM的规格和个数将会根据Slot的规格和作业并发度,由系统自动决定。本文将介绍如何在Dataphin自定义Ververica Flink实时任务的资源。

Ververica Flink实时任务资源自定义入口

  1. 请参见数据开发入口,进入数据开发页面。

  2. 在数据开发页面,按照下图操作指引,单击选择FLINK_SQL任务的自定义配置。

    image

操作步骤

在资源配置页面,为您展示一张拓扑图,图中每个方框代表了一个计算任务,都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算,可以有效避免数据的网络传播,提升性能。图中当前的资源配置就是系统默认为您推荐的资源配置。

  1. 单击需要配置资源的Group右上角的image.png后,在自定义配置Group执行参数自定义配置StreamExecCalc执行参数对话框中配置参数。

    • 自定义配置Group执行参数。

      image.png

      参数

      描述

      CPU

      定义当前节点运行的CPU。

      heap_memory

      单位为MB,heap_memory是堆内存,供Java应用程序使用的内存。

      heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制,在一般的blink程序中,都会需要一定的heap_memory开销,,例如申请一定的heap_memory作为程序的缓存等,因此您可以按程序的规模来设置其大小。

      Off-Heap Memory

      定义堆外内存大小。

    • 自定义配置StreamExecCalc执行参数。

      image.png

  2. 完成参数配置后,单击确定

    说明

    并发数默认为1,可填任意大于0的整数,-1代表自动推断。

  3. 配置完成后,单击页面右上方的保存

    重要

    如果您想继续使用系统推荐的资源配置,则单击页面右上方的重置为系统初始

    同时您也可以保存资源配置记录,单击资源信息记录后的保存当前配置为新纪录。在保存资源记录对话框中,输入资源记录名称后,单击确定。 

    对已有的资源信息记录,您可以执行以下操作。

    操作

    描述

    查看版本信息

    单击某个记录操作列下的tesga图标,查看版本信息。

    启用记录

    1. 单击某个记录的操作列下的taga图标。

    2. 提示对话框中,单击确定

    删除记录

    1. 单击某个记录操作列下的teag图标。

    2. 提示对话框中,单击确定