对于流批一体任务的实时模式您需定义该任务实时相关的属性,包括任务资源、时间参数、Checkpoint等。本文为您介绍流批一体任务实时模式配置的相关内容。
实时模式配置入口
在Dataphin首页,单击顶部菜单栏的研发。
按照下图操作指引,进入流批一体任务实时模式配置面板。
配置实时模式
在实时模式配置面板,您需根据下表配置流批一体任务实时模式的资源与依赖关系相关参数。
配置项 | 描述 |
资源配置 |
|
属性配置(时间参数) | 用于配置实时计算任务的运行时间偏移。配置说明,请参见实时模式时间参数配置。 |
Checkpoint配置 | 实时任务的Checkpoint可以将任务的状态保存到持久化存储中,可有效的帮助当前任务运行意外崩溃后,重新运行程序时恢复到崩溃前的状态。配置说明,实时模式Checkpoint配置。 |
State配置 | State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。配置说明,请参见实时模式State配置。 |
运行参数 | 在开发实时任务时,通常需要配置任务的运行参数,以控制任务的执行行为和性能。例如,JobManager 进程的内存大小、TaskManager中slot的超时时间等。实时模式运行参数配置。 |
依赖文件 | 若您的实时任务运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。配置说明,请参见实时模式依赖文件配置。 |
依赖关系 | 配置实时任务的依赖关系,可帮助您排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置。 |