配置开源Flink离线模式资源

开源Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager Slots、Job Manager Memory、Task Manager Memory等。本文为您介绍如何配置流批一体任务离线模式的资源配置。

操作步骤

  1. Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务

  4. 在计算任务列表中,单击目标计算任务,打开对应计算任务页签。

  5. 单击页面右侧边栏的配置,在配置面板中,单击离线模式页签。

  6. 在配置面板中资源配置区域,配置任务离线模式的资源配置参数信息。

    Flink on yarn

    参数

    描述

    生产环境资源队列

    默认为创建Flink_SQL任务时所选择的集群。您可在此处进行引擎切换。

    重要

    切换后提交生效的任务执行可能存在差异,请谨慎操作。

    生产环境引擎版本

    默认为创建Flink_SQL任务时所选择的引擎版本。您可在此处切换引擎版本。

    开发环境资源队列及引擎版本

    默认为创建Flink_SQL任务时所选择的配置,您可在此处进行再次配置。支持选择系统默认配置自行配置

    • 系统默认配置:使用与生产环境相同的环境集群与引擎版本。

    • 自行配置:您可自行选择开发环境任务运行的环境集群及引擎版本。若您的项目空间为Basic模式,则无需配置。

    并行度

    默认为1,可填任意大于0的整数,-1代表自动推断。

    Task Manager Slots

    默认为空,可填任意大于0的整数。

    Job Manager Memory

    该任务在Flink集群的控制单元中所占用的内存大小。默认为1Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。

    Task Manager Memory

    默认为1Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。

    Job Manager CPUs

    分配给运行Job Manager进程的CPU计算资源。默认为1,可填任意大于0的整数。

    Job Manager CPUs

    分配给运行Task Manager进程的CPU计算资源。默认为1,可填任意大于0的整数。

    Flink on K8s

    参数

    描述

    生产环境资源队列

    默认为创建Flink_SQL任务时所选择的集群。您可在此处进行引擎切换。

    重要

    切换后提交生效的任务执行可能存在差异,请谨慎操作。

    生产环境引擎版本

    默认为创建Flink_SQL任务时所选择的引擎版本。您可在此处切换引擎版本。

    开发环境资源队列及引擎版本

    默认为创建Flink_SQL任务时所选择的配置,您可在此处进行再次配置。支持选择系统默认配置自行配置

    • 系统默认配置:使用与生产环境相同的环境集群与引擎版本。

    • 自行配置:您可自行选择开发环境任务运行的环境集群及引擎版本。若您的项目空间为Basic模式,则无需配置。

    并行度

    默认为1,可填任意大于0的整数,-1代表自动推断。

    Task Manager 数量

    默认为1,可填入任意大于0的整数。

    Job Manager CPUs

    该任务在Flink集群的控制单元中所占用的CPU资源大小。默认为1Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。

    Task Manager Memory

    默认为1Gi,建议使用Gi/Mi/单位;可填数字(单位Byte),或填入包含以下内存单位(Gi/Mi)的数字,例如填写1024000、1024Mi、1.5Gi。

  7. 单击确定,完成任务离线模式的资源配置。