新建FLINK_DATASTREAM任务

前提条件

• 在开始执行操作前，请确认项目已开启实时引擎并已配置Ververica Flink计算源。具体操作，请参见创建通用项目。

• 在您开始执行操作前，请确认已上传开发完成的Datstream作业的JAR包至Dataphin平台，具体操作，请参见上传资源及引用。

权限说明

仅支持超级管理员、项目管理员和开发者创建FLINK_DATASTREAML计算任务。

步骤一：新建FLINK_DATASTREAM任务

1. 在Dataphin首页，单击顶部菜单栏研发。

2. 按照下图指引，进入新建FLINK_DATASTREAM任务对话框。

   

3. 在新建FLINK_DATASTREAM任务对话框，配置参数。

   参数	描述
   任务名称	名称的命名规则如下： 只能包含小写英文字母、数字、下划线（_）。 名称的长度范围为3~62个字符。 项目内的名称不支持重复。 名称仅支持以英文字母开头。
   生产环境集群	选择Flink DataStream任务生产环境所在集群。
   生产环境引擎版本	选择引擎的版本。
   开发环境集群及引擎版本	选择Flink DataStream任务开发环境中的资源队列和引擎版本。支持系统默认配置和自行配置。选择自行配置需配置开发环境的集群及引擎版本。 开发环境资源集群：选择Flink DataStream任务所在的开发环境中的资源集群。 开发环境引擎版本：选择Ververica Flink引擎的版本。
   存储目录	默认选择为代码管理，同时您也可以在计算任务页面创建目标文件夹后，选择该目标文件夹为Flink DataStream任务的目录。
   选择资源	该Flink DataStream依赖的资源包。
   类名	使用资源的完整类名（全限定类名）。
   描述	填写对Flink DataStream任务的简单描述。

4. 单击确定。

步骤二：预编译FLINK_DATASTREAM任务代码

在FLINK_DATASTREAM任务代码页面，单击页面左上方的预编译，校验代码任务的语法及权限问题。

步骤四：配置FLINK_DATASTREAM任务

1. 单击编辑器侧边栏配置。

2. 在配置对话框中，配置FLINK_DATASTREAM任务实时模式和离线模式的相关配置信息。

   重要

   FLINK_DATASTREAM任务不支持开启离线模式。

   

   • 实时模式

     • 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的Job Manager CPUs和Job Manager Memory信息。配置说明，请参见配置Ververica Flink实时模式资源。

     • 时间参数：用于配置实时计算任务的运行时间偏移。配置说明，请参见实时模式时间参数配置。

     • Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。

     • State配置：配置State中数据自动清理的周期。配置说明，实时模式State配置。

     • 运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见实时模式运行参数配置。

     • 依赖文件：配置任务依赖的资源文件。配置说明，请参见实时模式依赖文件配置。

     • 依赖关系：配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明，请参见实时模式依赖关系配置。

3. 单击确定。

步骤五：提交FLINK_DATASTREAM任务

1. 单击页面左上方的按钮，并在提交备注对话框中填写备注信息。

2. 单击确定并提交。

   说明

   如果项目的模式为Dev-Prod，则您需要发布FLINK_DATASTREAM任务至生产环境。具体操作，请参见管理发布任务。