新建FLINK_DATASTREAM任务

本文为您介绍如何基于Fusioninsight Flink实时引擎创建FLINK_DATASTREAM任务。

前提条件

  • 在您开始执行操作前,请确认项目已开启实时引擎并已配置Fusioninsight Flink计算源。具体操作,请参见创建通用项目

  • 在您开始执行操作前,请确认已上传开发完成的Datstream作业的JAR包至Dataphin平台,具体操作,请参见上传资源及引用

权限说明

仅支持超级管理员项目管理员开发者创建FLINK_DATASTREAML计算任务。

步骤一:新建FLINK_DATASTREAM任务

  1. Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务,在右侧计算任务列表中单击image图标,选择FLINK_DATASTREAM

  4. 新建FLINK_DATASTREAM任务对话框,配置任务参数。

    参数

    描述

    任务名称

    名称的命名规则如下:

    • 只能包含小写英文字母、数字、下划线(_)。

    • 名称的长度范围为4~63个字符。

    • 项目内的名称不支持重复。

    • 名称仅支持以英文字母开头。

    生产环境资源队列

    选择FLINK_DATASTREAM任务所在的生产环境集群。

    生产环境引擎版本

    选择任务运行的Flink引擎版本。Dataphin仅支持Fusioninsight Flink实时引擎的1.15.0引擎版本。

    开发环境资源队列及引擎版本

    支持选择系统默认配置自行配置

    • 系统默认配置:默认选择,使用与生产环境相同的环境集群与引擎版本。

    • 自行配置:您可自行选择开发环境任务运行的环境集群及引擎版本。若您的项目空间为Basic模式,则无需配置该配置项。

    存储目录

    选择任务所存放的目录。

    若未创建目录,您可以新建文件夹,操作方法如下:

    1. 在页面左侧计算任务列表上方单击image图标,打开新建文件夹对话框。

    2. 新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。

    3. 单击确定

    选择资源

    FLINK_DATASTREAM任务依赖的资源包。

    类名

    使用资源的完整类名(全限定类名)。

    描述

    填写对FLINK_DATASTREAM任务的简单描述。

  5. 单击确定

步骤二:预编译FLINK_DATASTREAM任务代码

单击顶部菜单栏中的预编译,校验代码任务的语法及权限问题。

若预编译成功,系统将提示预编译成功;若预编译失败,系统将提示预编译失败,可单击页面底部的Console,查看预编译失败日志。

步骤三:配置FLINK_DATASTREAM任务

  1. 单击当前计算任务右侧边栏的配置

  2. 在配置面板中,配置FLINK_DATASTREAM任务实时模式相关配置信息。

    重要

    FLINK_DATASTREAM任务不支持开启离线模式

    • 实时模式

      • 资源配置(必选):配置任务生产环境和开发环境对应的资源队列、引擎版本信息。配置说明,请参见配置Fusioninsight Flink实时模式资源

      • 变量配置:本对象节点使用的变量参数,无须声明式预定义,可以在代码中自由灵活定义,系统将自动解析至参数列表。可以在参数列表修改参数类型并对参数赋值。配置说明,请参见实时模式变量配置

      • 运行参数:可以通过配置运行参数控制Flink应用程序的执行行为和性能。配置说明,请参见实时模式运行参数配置

      • 依赖文件:配置任务依赖的资源文件。配置说明,请参见实时模式依赖文件配置

      • 依赖关系:配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置

  3. 单击确定

步骤四:提交FLINK_DATASTREAM任务

  1. 单击顶部菜单栏的提交按钮。

  2. 提交对话框中查看提交内容前置检查信息,并填写提交备注

  3. 单击确定并提交

说明

如果项目的模式为Dev-Prod,则您需要发布FLINK_DATASTREAM任务至生产环境。具体操作,请参见管理发布任务

后续步骤

提交成功后,您可在运维中心查看并运维FLINK_DATASTREAM任务,保证任务的正常运行。更多信息,参见查看并管理实时任务