本文为您介绍实时计算Flink版作业开发流程以及语法检查、配置作业参数、配置项目参数、SQL辅助和SQL版本管理功能。

背景信息

说明
  • 实时计算Flink版主要使用Flink SQL进行作业开发，Flink SQL开发手册请参见概述。
  • 实时计算Flink版独享模式不支持归档保存已停止（含暂停）的作业运行日志。如果您需要查询已停止（含暂停）的作业运行日志，请将日志输出至您自定义的日志服务SLS或对象存储OSS中。详情请参见自定义日志级别和下载路径。

编写SQL代码

  1. 登录实时计算控制台。
  2. 在页面顶部，单击开发。
  3. 在开发页面，单击页面顶部的新建作业。
  4. 在新建作业界面，输入作业配置信息。
    作业参数 说明
    文件名称 作业的名称。
    说明 作业名称在当前项目中必须保持唯一。
    作业类型
    • 共享模式：仅支持FLINK_STREAM/SQL作业类型。
    • 独享模式：支持FLINK_STREAM/DATASTREAM和FLINK_STREAM/SQL作业类型。
    存储位置 在文件夹目录中，指定该作业的代码文件所属的文件夹。您还可以单击现有文件夹右侧的新建文件夹图标，新建子文件夹。
  5. 单击确定。
  6. 在作业编辑页面，编写SQL代码。
    说明
    • 您可以在作业开发页面右侧的代码结构查看SQL代码结构。
    • 建议您使用作业开发页面左侧的数据存储管理上下游存储，详情请参见数据存储概述。

配置作业参数

  1. 登录实时计算控制台。
  2. 在页面顶部，单击开发。
  3. 在左侧作业开发列表页面，单击目标作业名称。
  4. 在目标作业开发页面右侧，单击作业参数。
  5. 配置作业所需参数。
    作业参数配置详情，请参见作业参数调优。

配置项目参数

作业参数针对单个作业生效，项目参数针对该项目下所有作业生效，开启项目参数后，会产生以下两种效果：
  • 替换变量：单击启动、调试或语法检查后，系统会替换SQL作业中的变量或Datastream作业中代码的变量。
  • 参数下发：项目级别系统参数会与作业参数、启动参数（仅Batch作业可以配置）进行Merge，参数优先级为：启动参数 > 作业参数 > 项目级别系统参数。Merge后作为最终参数下发到Blink作业。例如，作业参数配置和项目参数配置冲突，系统则以作业参数配置为准。
  1. 登录实时计算控制台。
  2. 在页面顶部菜单栏上，鼠标悬停在用户头像后，单击项目管理。
  3. 在项目列表区域，单击目标项目名称。
  4. 在页面顶部，单击开发。
  5. 在左侧作业开发列表页面，单击目标作业名称。
  6. 配置项目参数生效。
    该功能默认关闭（disable.project.config=false），您可以按照以下方式配置生效：
    • SQL作业：在作业参数中配置enable.project.config=true。
    • Datastream作业：在代码中配置enable.project.config=true。
  7. 在页面顶部，单击项目参数。
  8. 配置项目所需参数。
    项目参数仅支持SQL和Datastream两种作业类型，在配置项目级别系统参数时，您需要在项目级别配置参数前添加作业类型前缀，例如，sql.name=LiLei或datastream.name=HanMeimei。

启动语法检查

  1. 登录实时计算控制台。
  2. 在页面顶部，单击开发。
  3. 在左侧作业开发列表页面，单击目标作业名称。
  4. 在目标作业开发页面上方，单击语法检查。
    说明
    • 保存作业可以触发SQL语法检查功能。
    • 请编写完整的SQL逻辑后再进行语法检查，否则语法检查不生效。

SQL辅助

  • Flink SQL语法检查

    在您修改SQL后即可自动保存。保存操作可以触发SQL语法检查功能。语法校验出错后，将在作业开发页面提示出错行数、列数以及错误原因。

  • Flink SQL智能提示

    在您输入Flink SQL过程中，作业开发页面提供包括关键字、内置函数、表和字段智能记忆等提示功能。

  • Flink SQL语法高亮显示

    高亮显示Flink SQL中关键字，使用不同的颜色区分Flink SQL语法中不同的结构。

SQL版本管理

实时计算Flink版为您提供代码版本管理功能。每提交一次作业即可生成一个代码版本。代码版本用于版本追踪、版本修改以及后期版本回滚。

  1. 登录实时计算控制台。
  2. 在页面顶部，单击开发。
  3. 在左侧作业开发列表页面，单击目标作业名称。
  4. 在目标作业开发页面右侧，单击版本信息。
  5. 单击操作 > 更多。
  6. 选择相应的版本管理功能。
    • 对比：查看最新代码和指定版本的差异。
    • 回滚：回滚到指定版本。
    • 删除：实时计算Flink版默认版本数上限为20。在版本数小于20时，您可以提交作业。如果当前的版本数为20，系统将不允许该作业的提交请求，并提示您删除部分旧版本作业。
      说明 当前版本数低于版本上限数后可以再次提交作业。
    • 锁定：锁定当前作业版本。
      说明 解锁前无法提交新版本。