新建FLINK_SQL任务_智能数据建设与治理 Dataphin(Dataphin)-阿里云帮助中心

本文为您介绍基于开源Flink实时引擎如何创建FLINK_SQL任务。

前提条件

在开始执行操作前，请确认项目已开启实时引擎并已配置Flink为计算源。具体操作，请参见创建通用项目。

权限说明

仅支持超级管理员、项目管理员和开发者创建FLINK_SQL计算任务。

步骤一：新建FLINK_SQL任务

在Dataphin首页，单击顶部菜单栏研发。默认进入数据开发页面。
按照以下操作指引，进入新建Flink_SQL任务对话框。
选择项目（Dev-Prod 模式需要选择环境）->单击计算任务->单击图标->单击FLINK_SQL。

在新建Flink_SQL任务对话框，配置任务参数。

参数	说明
任务名称	名称的命名规则如下：只能包含小写英文字母、数字、下划线（_）。名称的长度范围为3~62个字符。项目内的名称不支持重复。名称仅支持以英文字母开头。
生产环境资源队列	选择Flink SQL任务所在的生产环境集群资源队列或资源组。
生产环境引擎版本	选择任务运行的Flink引擎版本。Dataphin支持的引擎版本如下： 1.15.3 1.14.2 1.13.1
开发环境资源队列及引擎版本	支持选择系统默认配置或自行配置。系统默认配置：默认选择，使用与生产环境相同的环境集群与引擎版本。自行配置：您可自行选择开发环境任务运行的环境集群及引擎版本。若您的项目空间为Basic模式，则无需配置该配置项。说明项目绑定的计算源为开源Flink且部署模式为k8s（Kubernetes）无需配置该配置项。
存储目录	默认选择为代码管理，同时您也可以在计算任务页面创建目标文件夹后，选择该目标文件夹为Flink SQL任务的目录。
新建方式	支持空白新建、引用示例代码和使用模板。空白新建：创建普通空白的FLINK_SQL任务。引用示例代码：引用系统内置的示例代码快速新建任务。使用模板：基于实时计算任务模板快速新建任务。
描述	填写对Flink SQL任务的简单描述，1000字符以内。

单击确定。

步骤二：开发及预编译FLINK_SQL任务代码

在FLINK_SQL任务代码页面，编写任务的代码。
说明
- 您可以单击页面右上方的按钮，系统自动调整SQL代码格式。
- Dataphin支持原生DDL语句快速创建元表。当前Dataphin识别到原生create table/create temporary table 语句时，您可以单击编辑器提示图标，快速创建元表。具体操作，请参见Flink_SQL任务开发方式。
单击页面左上方的预编译，校验代码任务的语法及权限问题。
说明
1. 预编译成功，在页面上方出现弹窗。
2. 预编译失败，在页面上方出现弹窗，单击页面底部Console，查看预编译失败日志。

步骤三：配置FLINK_SQL任务

单击编辑器侧边栏配置。
在配置对话框中，配置FLINK_SQL任务实时模式和离线模式的相关配置信息。
说明
Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置流+批的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。
- 实时模式
  - 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory和Task Manager Memory信息。配置说明，请参见配置Ververica Flink实时模式资源。
  - 变量配置：变量参数配置是对计算任务代码中所用的变量进行赋值，从而支持变量参数可以自动被替换为相应的变量值。配置说明，请参见实时模式变量配置。
  - 时间参数：用于配置实时计算任务的运行时间偏移。配置说明，请参见实时模式时间参数配置。
  - Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，请参见实时模式Checkpoint配置。
  - State配置：配置State中数据自动清理的周期。配置说明，请参见实时模式State配置。
  - 运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见实时模式Checkpoint配置。
  - 依赖文件：配置任务依赖的资源文件。配置说明，请参见实时模式Checkpoint配置。
  - 依赖关系：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见实时模式Checkpoint配置。
- 离线模式（Beta）
  重要
  项目绑定的实时计算源为开源Flink且部署模式为k8s（Kubernetes）不支持离线模式。
  - 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory、Task Manager Memory信息。配置说明，请参见配置开源Flink离线模式资源。
  - 变量配置：变量参数配置是对计算任务代码中所用的变量进行赋值，从而支持变量参数可以自动被替换为相应的变量值。配置说明，请参见离线模式变量配置。
  - 运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见离线模式运行参数配置。
  - 依赖文件：配置Flink SQL任务依赖的资源文件。配置说明，请参见离线模式依赖文件配置。
  - 调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。您可以通过调度配置中调度属性，配置任务调度周期与生效日期等。配置说明，请参见离线模式调度配置。
  - 依赖关系（必选）：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见离线模式依赖关系配置。
单击确定。