对于流批一体任务的离线模式您需定义该任务实时相关的属性,包括任务资源、时间参数、Checkpoint等。本文为您介绍流批一体任务实时模式配置的相关内容。
离线模式配置入口
在Dataphin首页,单击顶部菜单栏的研发。
按照下图操作指引,进入流批一体任务离线模式配置面板。
配置离线模式
在离线模式配置面板,您需根据下表配置流批一体任务离线模式的资源与依赖关系相关参数。
配置项 | 描述 |
调度配置 | 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。配置说明,请参见离线模式调度配置。 |
资源配置 |
|
变量配置 | 用于配置实时计算任务的变量参数。配置说明,请参见离线模式变量配置。 |
运行参数 | 在开发流批一体任务时,通常需要配置任务离线模式的运行参数,以控制任务的执行行为和性能。例如,JobManager在内存中保存执行尝试历史记录的大小、TaskManager中slot的超时时间等。配置说明,请参见离线模式运行参数配置。 |
依赖文件 | 若您的流批一体任务的离线模式运行需要依赖外部资源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上传对应资源文件后,将所上传的资源文件添加到任务的依赖文件,使任务能够正常运行。配置说明,请参见离线模式依赖文件配置。 |
依赖关系 | 流批一体任务的离线模式通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。配置说明,请参见离线模式依赖关系配置。 |