本文为您介绍如何提交Flink SQL作业至集群运行。

创建作业

  1. 作业开发
  2. 基础配置页面,填写基本配置信息。Create Job
    说明
    • 您可以根据实际业务需要,单击显示高级配置,填写行为配置Flink配置资源配置日志配置等信息。
    • 您可以在创建作业页面右上角,单击以YAML模式编辑,直接修改配置信息。
    参数解释如下表所示。
    类别 配置项 说明
    基础配置 作业名称 作业的名称。
    部署目标 默认default。
    SQL Script 作业开发阶段填写的DDL和DML语句。
    并行度 作业并发个数。
    高级配置 行为配置 初始状态 作业的初始状态。取值如下:
    • Running:作业创建完成后会直接运行。
    • Cancelled:作业创建完成后,需要手动操作进行启动。
    恢复策略 当作业状态变为运行时,State的恢复策略。取值如下:
    • Latest Savepoint :将从最新Savepoint文件恢复。
    • Latest State:将从最新的Savepoint或Checkpoint中恢复。
    • None:不带State恢复作业。
    创建Savepoint的最大重试次数 升级期间创建Savepoint操作的重试次数。
    创建实例的最大重试次数 启动实例操作的重试次数。
    Stop with Drain 如果开启Stop With Drain功能,当作业被手动停止或者保留State升级作业时,窗口中已有数据结果会输出,即使没有满足关窗条件。
    配置 标签 您可以在标签选项中添加作业标签,便于在总览页面快速定位作业。
    标签值
    Flink版本 仅支持Flink 1.11版本。使用默认值1.11。
    Flink镜像标签 选择Flink镜像标签。使用默认值1.11.1-vvr-2.0.1-hadoop-2.8.3-scala_2.11
    Flink配置 Checkpoint间隔 定时执行Checkpoint的时间间隔。如果不填写,将会关闭 Checkpoint。默认10s。
    两次 Checkpoint之间的最短时间间隔 两次Checkpoint之间的最短时间间隔,如果Checkpoint最大并行度是1,则该配置确保两个Checkpoint之间有一个最短时间间隔。
    Checkpoint Retention策略 当作业无法再重启或者作业被暂停时,是否需要保留最新完成的Checkpoint。该参数取值如下:
    • Always
    • Only when FAILED
    • Never
    开启Unaligned Checkpoint 开启Unaligned Checkpoint会大大降低反压情况下Checkpoint的总执行时间。但是也会导致增大单次Checkpoint的大小。
    Flink重启策略配置 Flink Default是默认重启策略。当有Task失败时,如果没有开启Checkpoint,JobManager进程不会重启。如果开启了Checkpoint,则JobManager进程会重启。该参数取值如下:
    • No Restarts
    • Fixed Delay
    • Failure Rate
    其他配置 配置 在此设置其他Flink配置。例如taskmanager.numberOfTaskSlots: 1
    资源配置 Task Managers数量 默认与并行度一致。
    Job Manager CPUs 默认值为1。
    Job Manager Memory 最小值为500Mi。单位建议使用Gi或Mi,例如,1024Mi或1.5Gi。
    Task Manager CPUs 默认值为1。
    Task Manager Memory 最小值为1Gi。单位建议使用Gi或Mi,例如,1024Mi或1.5Gi。
    日志配置 Root Log Level TRACE、DEBUG、INFO、WARN和ERROR。
    Log Levels 填写日志名称和日志级别。
    Logging Profile 日志模板,可以选择系统模板,也可以选择用户配置。
  3. 单击创建作业

启动作业

  1. 登录Flink-Vvp控制台,详情请参见访问Flink-Vvp的Web UI
  2. 在左侧导航栏上,单击Job list图标。
  3. 单击您创建的目标作业名称。
  4. 在作业详情页面,单击启动,即可将作业提交至集群运行。启动作业