对于实时任务的实时模式您需定义该任务实时相关的属性,包括任务资源、时间参数、Checkpoint等。本文为您介绍实时任务实时模式配置的相关内容。
实时模式配置入口
在Dataphin首页,单击顶部菜单栏的研发。
按照下图操作指引,进入实时任务实时模式配置面板。
配置实时模式
在实时模式配置面板,您需根据下表配置实时任务实时模式的资源与依赖关系相关参数。
配置项 | 描述 |
资源配置 |
|
变量配置 | 用于配置实时计算任务的变量参数。配置说明,请参见实时模式变量配置。 |
属性配置(时间参数) | 用于配置实时计算任务的运行时间偏移。配置说明,请参见实时模式时间参数配置。 |
Checkpoint配置 | 实时任务的Checkpoint可以将任务的状态保存到持久化存储中,可有效的帮助当前任务运行意外崩溃后,重新运行程序时恢复到崩溃前的状态。配置说明,实时模式Checkpoint配置。 |
State配置 | State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。配置说明,请参见实时模式State配置。 |
运行参数 | 在开发实时任务时,通常需要配置任务的运行参数,以控制任务的执行行为和性能。例如,JobManager 进程的内存大小、TaskManager中slot的超时时间等。实时模式运行参数配置。 |
依赖文件 | 若您的实时任务运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。配置说明,请参见实时模式依赖文件配置。 |
依赖关系 | 配置实时任务的依赖关系,可帮助您排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置。 |