实时模式配置概述

对于流批一体任务的实时模式您需定义该任务实时相关的属性,包括任务资源、时间参数Checkpoint等。本文为您介绍流批一体任务实时模式配置的相关内容。

实时模式配置入口

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照下图操作指引,进入流批一体任务实时模式配置面板。

    image.png

配置实时模式

在实时模式配置面板,您需根据下表配置流批一体任务实时模式的资源与依赖关系相关参数。

配置项

描述

资源配置

  • Ververica Flink实时计算源

    对于Ververica Flink创建的流批一体任务,任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明,请参见配置Ververica Flink实时模式资源

  • Alibaba Blink实时计算源

    对于Alibaba Blink创建的流批一体任务,任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明,请参见配置Alibaba Blink实时模式资源

属性配置(时间参数)

用于配置实时计算任务的运行时间偏移。配置说明,请参见实时模式时间参数配置

Checkpoint配置

实时任务的Checkpoint可以将任务的状态保存到持久化存储中,可有效的帮助当前任务运行意外崩溃后,重新运行程序时恢复到崩溃前的状态。配置说明,实时模式Checkpoint配置

State配置

State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。配置说明,请参见实时模式State配置

运行参数

在开发实时任务时,通常需要配置任务的运行参数,以控制任务的执行行为和性能。例如,JobManager 进程的内存大小、TaskManager中slot的超时时间等。实时模式运行参数配置

依赖文件

若您的实时任务运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。配置说明,请参见实时模式依赖文件配置

依赖关系

配置实时任务的依赖关系,可帮助您排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置