配置Ververica Flink实时模式资源

Ververica Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的集群、引擎版本以及并行度、Task Manager和Job Manager的CPU与Memory。本文为您介绍如何配置Ververica Flink流批一体任务实时模式的资源配置。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。

  2. 按照以下操作指引,进入流批一体任务实时模式配置面板。

    选择项目(Dev-Prod 模式需要选择环境)->单击计算任务->选择并单击计算任务->单击配置->单击实时模式

    image.png

  3. 在实时模式配置面板中资源配置区域,配置实时模式的资源配置信息。

    image.png

    参数

    描述

    生产环境集群

    默认为创建任务时选择的生产环境集群。您可在此处切换集群。

    重要

    集群切换后提交生效的任务执行可能有差异,请谨慎操作。

    生产环境引擎版本

    默认为创建任务时选择的生产环境引擎版本。您可在此处切换引擎版本。

    开发环境集群及引擎版本

    支持系统默认配置和自行配置。

    • 系统默认配置:默认选择,使用与生产环境相同的环境集群与引擎版本。

    • 自行配置:您可自行选择开发环境任务运行的环境集群及引擎版本。

      image

      说明

      若您的项目空间为Basic模式,则无需配置该配置项。

    并行度

    默认为4,可填任意大于0的整数, -1代表自动推断。

    Task Manager 数量

    默认为2,可填任意大于0的整数。

    Task Manager CPUs

    默认为1,可填任意大于0的数,如1、10.5。

    Task Manager Memory

    默认为8Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含以下内存单位(Gi/Mi)的数字,例如填写1024000,1024Mi,1.5Gi。

    Job Manager CPUs

    该任务在Flink集群的控制单元中所占用的CPU资源大小。默认为1,可填任意大于0的数,如1、10.5。

    Task Manager Memory

    任务在Flink集群的控制单元中所占用的内存资源大小。默认为4Gi,建议使用Gi/Mi单位;可填数字(单位Byte),或填入包含以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。

    资源配置类型

    • 系统推荐配置

      即实时计算Flink配置细粒度资源的智能模式(BETA),智能模式为专家模式的升级版。在智能模式下,作业将启用专家模式的资源配置,同时开启AutoPilot自动调优功能。

      在智能配置模式下,您无需配置相关资源,AutoPilot会自动为作业生成资源配置,并根据作业的运行情况帮您进行资源配置的调优,在确保作业处于健康的状态下,优化作业资源的使用。AutoPilot详情请参见配置自动调优

    • 自定义配置

      即实时计算Flink配置细粒度资源的专家模式 (BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的资源控制,以满足作业吞吐的要求。

      系统会自动根据您配置的资源需求,以Native K8s的模式运行作业,TM的规格和个数将会根据Slot的规格和作业并发度,由系统自动决定。更多关于配置细粒度资源的内容,请参见配置作业部署信息

      在Dataphin中自定义Flink SQL任务资源。具体操作,请参见Ververica Flink实时任务资源自定义

      说明

      FLINK_DATASTREAM任务不支持配置资源配置类型

    资源配置记录

    资源配置信息变更时,您可单击保存当前配置为新纪录。对于保存的资源配置记录信息您可进行查看详情启动删除操作。

    image

    说明

    FLINK_DATASTREAM任务不支持资源配置记录

  4. 单击确定,完成任务实时模式的资源配置。