文档

新建FLINK_DATASTREAM任务

更新时间:

本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。

前提条件

  • 在开始执行操作前,请确认项目已开启实时引擎并已配置Ververica Flink计算源。具体操作,请参见创建通用项目

  • 在您开始执行操作前,请确认已上传开发完成的Datstream作业的JAR包至Dataphin平台,具体操作,请参见上传资源及引用

权限说明

仅支持超级管理员项目管理员开发者创建FLINK_DATASTREAML计算任务。

步骤一:新建FLINK_DATASTREAM任务

  1. 在Dataphin首页,单击顶部菜单栏研发

  2. 按照下图指引,进入新建FLINK_DATASTREAM任务对话框。

    image.png

  3. 新建FLINK_DATASTREAM任务对话框,配置参数。

    参数

    描述

    任务名称

    名称的命名规则如下:

    • 只能包含小写英文字母、数字、下划线(_)。

    • 名称的长度范围为3~62个字符。

    • 项目内的名称不支持重复。

    • 名称仅支持以英文字母开头。

    生产环境集群

    选择Flink DataStream任务生产环境所在集群。

    生产环境引擎版本

    选择引擎的版本。

    开发环境集群及引擎版本

    选择Flink DataStream任务开发环境中的资源队列和引擎版本。支持系统默认配置自行配置。选择自行配置需配置开发环境的集群及引擎版本。

    • 开发环境资源集群:选择Flink DataStream任务所在的开发环境中的资源集群。

    • 开发环境引擎版本:选择Ververica Flink引擎的版本。

    存储目录

    默认选择为代码管理,同时您也可以在计算任务页面创建目标文件夹后,选择该目标文件夹为Flink DataStream任务的目录。

    image.png

    选择资源

    该Flink DataStream依赖的资源包。

    类名

    使用资源的完整类名(全限定类名)。

    描述

    填写对Flink DataStream任务的简单描述。

  4. 单击确定

步骤二:预编译FLINK_DATASTREAM任务代码

在FLINK_DATASTREAM任务代码页面,单击页面左上方的预编译,校验代码任务的语法及权限问题。

说明
  • 预编译成功,在页面上方出现1弹窗。

  • 预编译失败,在页面上方出现2弹窗,单击页面底部Console,查看预编译失败日志。

步骤四:配置FLINK_DATASTREAM任务

  1. 单击编辑器侧边栏配置

  2. 在配置对话框中,配置FLINK_DATASTREAM任务实时模式离线模式的相关配置信息。

    重要

    FLINK_DATASTREAM任务不支持开启离线模式

    image.png

    • 实时模式

      • 资源配置(必选):配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的Job Manager CPUs和Job Manager Memory信息。配置说明,请参见配置Ververica Flink实时模式资源

      • 时间参数:用于配置实时计算任务的运行时间偏移。配置说明,请参见实时模式时间参数配置

      • Checkpoint配置:配置Flink SQL任务的Checkpoint,可有效的帮助当前Flink SQL任务运行意外崩溃后,重新运行程序时恢复到崩溃前的状态。配置说明,实时模式Checkpoint配置

      • State配置:配置State中数据自动清理的周期。配置说明,实时模式State配置

      • 运行参数:可以通过配置运行参数控制Flink应用程序的执行行为和性能。配置说明,请参见实时模式运行参数配置

      • 依赖文件:配置任务依赖的资源文件。配置说明,请参见实时模式依赖文件配置

      • 依赖关系:配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置

  3. 单击确定

步骤五:提交FLINK_DATASTREAM任务

  1. 单击页面左上方的image按钮,并在提交备注对话框中填写备注信息。

  2. 单击确定并提交

    说明

    如果项目的模式为Dev-Prod,则您需要发布FLINK_DATASTREAM任务至生产环境。具体操作,请参见管理发布任务

后续步骤

在运维中心查看并运维FLINK_DATASTREAM任务,保证任务的正常运行。具体操作,请参见查看并管理实时任务