本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。
前提条件
权限说明
仅支持超级管理员、项目管理员和开发者创建FLINK_DATASTREAML计算任务。
步骤一:新建FLINK_DATASTREAM任务
在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发。
在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。
在左侧导航栏中选择数据处理 > 计算任务,在右侧计算任务列表中单击
图标,选择FLINK_DATASTREAM。
在新建FLINK_DATASTREAM任务对话框,配置参数。
参数
描述
任务名称
名称的命名规则如下:
只能包含小写英文字母、数字、下划线(_)。
名称的长度范围为4~63个字符。
项目内的名称不支持重复。
名称仅支持以英文字母开头。
生产环境集群
选择Flink DataStream任务生产环境所在集群。
生产环境引擎版本
选择引擎的版本。
开发环境集群及引擎版本
选择Flink DataStream任务开发环境中的资源队列和引擎版本。支持系统默认配置和自行配置。选择自行配置需配置开发环境的集群及引擎版本。
开发环境资源集群:选择Flink DataStream任务所在的开发环境中的资源集群。
开发环境引擎版本:选择Ververica Flink引擎的版本。
存储目录
选择任务所存放的目录。
若未创建目录,您可以新建文件夹,操作方法如下:
在页面左侧计算任务列表上方单击
图标,打开新建文件夹对话框。
在新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。
单击确定。
选择资源
该Flink DataStream依赖的资源包。
类名
使用资源的完整类名(全限定类名)。
描述
填写对Flink DataStream任务的简单描述。
单击确定。
步骤二:预编译FLINK_DATASTREAM任务代码
单击顶部菜单栏中的预编译,校验代码任务的语法及权限问题。
若预编译成功,系统将提示预编译成功;若预编译失败,系统将提示预编译失败,可单击页面底部的Console,查看预编译失败日志。
步骤四:配置FLINK_DATASTREAM任务
单击当前计算任务右侧边栏的配置。
在配置面板中,配置FLINK_DATASTREAM任务实时模式的相关配置信息。
重要FLINK_DATASTREAM任务不支持开启离线模式。
实时模式
资源配置(必选):配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的Job Manager CPUs和Job Manager Memory信息。配置说明,请参见配置Ververica Flink实时模式资源。
变量配置:本对象节点使用的变量参数,无须声明式预定义,可以在代码中自由灵活定义,系统将自动解析至参数列表。可以在参数列表修改参数类型并对参数赋值。配置说明,请参见实时模式变量配置。
Checkpoint配置:配置Flink SQL任务的Checkpoint,可有效的帮助当前Flink SQL任务运行意外崩溃后,重新运行程序时恢复到崩溃前的状态。配置说明,实时模式Checkpoint配置。
State配置:配置State中数据自动清理的周期。配置说明,实时模式State配置。
运行参数:可以通过配置运行参数,控制Flink应用程序的执行行为和性能。配置说明,请参见实时模式运行参数配置。
依赖文件:配置任务依赖的资源文件。配置说明,请参见实时模式依赖文件配置。
依赖关系:配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置。
单击确定。
步骤五:提交FLINK_DATASTREAM任务
单击顶部菜单栏的提交按钮。
在提交对话框中查看提交内容和前置检查信息,并填写提交备注。
单击确定并提交。
如果项目的模式为Dev-Prod,则您需要发布FLINK_DATASTREAM任务至生产环境。具体操作,请参见管理发布任务。
后续步骤
在运维中心查看并运维FLINK_DATASTREAM任务,保证任务的正常运行。具体操作,请参见查看并管理实时任务。