作业开发

使用限制

• SQL编辑器提交的SQL作业，仅支持开源Flink V1.11、Flink V1.12和Flink V1.13版本。
• SQL支持的上下游存储（Connector）列表，请参见支持的上下游存储。

操作步骤

为了方便您编写和管理Flink SQL作业，提高作业开发效率，Flink全托管产品为您提供Flink SQL的全套功能，包括元数据管理、UDF注册和SQL编辑器等。

1. 登录Flink全托管控制台，新建作业。
   1. 登录实时计算管理控制台。
   2. 在Flink全托管页签，单击目标工作空间操作列下的控制台。
   3. 在左侧导航栏，单击作业开发。
   4. 单击新建。
   5. 在新建文件对话框，填写作业配置信息。

      作业参数	说明
      文件名称	作业的名称。 说明 作业名称在当前项目中必须保持唯一。
      文件类型	文件类型需要选择为流作业/SQL。 流作业和批作业均支持以下类型： SQL JAR PYTHON 说明 实时计算引擎VVR 3.0.1及以上版本支持批作业。
      部署目标	选择作业需要部署的集群，支持以下两种集群模式： Per-Job集群（默认）：适用于占用资源比较大或持续稳定运行的作业。因为作业之间资源隔离，每个作业都需要一个独立的JM，小任务JM的资源利用率较低。 Session集群：适用于占用资源比较小或任务启停比较频繁的作业。因为多个作业可以复用相同的JM，可以提高JM资源利用率。 说明 如果您需要开启SQL Preview功能，必须选择Session集群，且已将其设置为SQL Previews集群，详情请参见作业调试和配置开发测试环境（Session集群）。
      存储位置	指定该作业的代码文件所属的文件夹。 您还可以在现有文件夹右侧，单击图标，新建子文件夹。

   6. 单击确认。
2. 在作业开发页面，编写DDL和DML代码。
   示例代码如下。

   --创建源表datagen_source。
   CREATE TEMPORARY TABLE datagen_source(
     name VARCHAR
   ) WITH (
     'connector' = 'datagen'
   );
   
   --创建结果表blackhole_sink。
   CREATE TEMPORARY TABLE blackhole_sink(
     name  VARCHAR
   ) WITH (
     'connector' = 'blackhole'
   );
   
   --将源表数据插入到结果表。
   INSERT INTO blackhole_sink
   SELECT
     name
   from datagen_source;

3. 在作业开发页面右侧，单击高级配置，填写配置信息。
   参数解释如下表所示。

   类别	配置项	说明
   基础配置	部署目标	您可以修改创建作业时已选择的部署目标。
   	附加依赖文件	如果您需要添加更多依赖文件，请选择或者输入任意合法的文件地址。 说明 Session集群不支持设置附加依赖文件，仅Per-Job集群支持设置附加依赖文件。
   常规配置	引擎版本	当前作业使用的Flink的引擎版本。 说明 从VVR 3.0.3版本（对应Flink 1.12版本）开始，VVP支持同时运行多个不同引擎版本的SQL作业。如果您的作业已使用了Flink 1.12及更早版本的引擎，您需要按照以下情况进行处理： Flink 1.12版本：停止后启动作业，系统将自动将引擎升级为vvr-3.0.3-flink-1.12版本。 Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到vvr-3.0.3-flink-1.12或vvr-4.0.7-flink-1.13版本后重启作业，否则会在启动作业时超时报错。
   	编辑标签	您可以为作业设置标签。后续可以通过搜索的方式，快速找到目标作业。
   Flink配置	Checkpoint间隔	定时执行Checkpoint的时间间隔。如果不填写，将会关闭Checkpoint。
   	两次Checkpoint之间的最短时间间隔	两次Checkpoint之间的最短时间间隔，如果Checkpoint最大并行度是1，则该配置确保两个Checkpoint之间有一个最短时间间隔。
   	开启Unaligned Checkpoint	开启Unaligned Checkpoint会大大降低反压情况下Checkpoint的总执行时间。但是也会导致增大单次Checkpoint的大小。
   	Flink重启策略配置	当有Task失败时，如果没有开启Checkpoint，JobManager进程不会重启。如果开启了Checkpoint，则JobManager进程会重启。该参数取值如下： Failure Rate：基于失败率重启。 选择基于失败率重启后，您还需要设置检测Failure Rate的时间间隔、时间间隔内的最大失败次数和每次重启时间间隔。 Fixed Delay：固定间隔重启。 选择基于固定间隔重启后，您还需要设置尝试重启的次数和每次重启时间间隔。 No Restarts（默认值）：不会重启。
   	更多Flink配置	在此设置其他Flink配置。例如taskmanager.numberOfTaskSlots: 1。
   日志配置	开启日志归档	默认已开启日志归档功能。开启日志归档后，您可以在作业探查页面查看历史作业实例的日志，详情请参见查看历史作业实例日志。 说明 在VVR 3.x版本，仅VVR 3.0.7及以上版本支持开启日志归档功能。 在VVR 4.x版本，仅VVR 4.0.11及以上版本支持开启日志归档功能。
   	归档日志有效期（天）	归档日志有效期默认为7天。
   	Root Log Level	日志级别从低到高顺序如下： TRACE：比DEBUG更细粒度的信息。 DEBUG：系统运行状态的信息。 INFO：重要或者您感兴趣的信息。 WARN：系统可能出现潜在错误的信息。 ERROR：系统出现错误和异常的信息。
   	Log Levels	填写日志名称和日志级别。
   	Logging Profile	日志模板，可以选择系统模板，也可以选择用户配置。

4. 单击保存。
5. 单击验证。
6. 单击上线。
   完成作业开发和语法检查后，即可上线作业，将数据发布至生产环境。