离线模式配置概述

对于流批一体任务的离线模式您需定义该任务实时相关的属性,包括任务资源、时间参数Checkpoint等。本文为您介绍流批一体任务实时模式配置的相关内容。

离线模式配置入口

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照下图操作指引,进入流批一体任务离线模式配置面板。

    image.png

配置离线模式

在离线模式配置面板,您需根据下表配置流批一体任务离线模式的资源与依赖关系相关参数。

配置项

描述

调度配置

调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。配置说明,请参见离线模式调度配置

资源配置

  • 开源Flink实时计算源

    对于开源Flink创建的流批一体任务,任务的离线模式资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明,请参见配置开源Flink离线模式资源

  • Ververica Flink实时计算源

    对于Ververica Flink创建的流批一体任务,任务的离线模式资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明,请参见配置Ververica Flink离线模式资源

  • Alibaba Blink实时计算源

    对于Alibaba Blink创建的流批一体任务,任务的离线模式资源配置支持配置任务的资源队列和引擎版本。配置说明,请参见配置Alibaba Blink离线模式资源

变量配置

用于配置实时计算任务的变量参数。配置说明,请参见离线模式变量配置

运行参数

在开发流批一体任务时,通常需要配置任务离线模式的运行参数,以控制任务的执行行为和性能。例如,JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。配置说明,请参见离线模式运行参数配置

依赖文件

若您的流批一体任务的离线模式运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。配置说明,请参见离线模式依赖文件配置

依赖关系

流批一体任务的离线模式通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。配置说明,请参见离线模式依赖文件配置