本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_DATASTREAM任务。
前提条件
权限说明
仅支持超级管理员、项目管理员和开发者创建BLINK_DATASTREAM计算任务。
步骤一:新建BLINK_DATASTREAM任务
在Dataphin首页,单击顶部菜单栏研发。
按照下图操作指引,进入新建BLINK_DATASTREAM任务对话框。
在新建BLINK_DATASTREAM任务对话框,配置参数。
参数
描述
任务名称
名称的命名规则如下:
只能包含小写英文字母、数字、下划线(_)。
名称的长度范围为3~62个字符。
项目内的名称不支持重复。
名称仅支持以英文字母开头。
资源队列
该项目所绑定的实时计算源中的资源队列。
引擎版本
当前资源队列所支持的版本。
存储目录
实时计算任务所属的目录。
选择资源
该实时任务依赖的资源包。
类名
使用资源的完整类名(全限定类名)。
步骤二:预编译BLINK_DATASTREAM任务代码
单击页面左上方的预编译,校验代码任务的语法及权限问题。
预编译成功,在页面上方出现弹窗。
预编译失败,在页面上方出现弹窗,单击页面底部Console,查看预编译失败日志。
步骤三:配置BLINK_DATASTREAM任务
单击编辑器侧边栏配置。
在配置对话框中,配置BLINK_DATASTREAM任务实时模式和离线模式的相关配置信息。
重要BLINK_DATASTREAM任务不支持开启离线模式。
实时模式
资源配置(必选):配置任务对应的资源队列及引擎版本。配置说明,请参见配置Alibaba Blink实时模式资源。
时间参数:用于配置实时计算任务的运行时间偏移。配置说明,请参见实时模式时间参数配置。
Checkpoint配置:配置Flink SQL任务的Checkpoint,可有效的帮助当前Flink SQL任务运行意外崩溃后,重新运行程序时恢复到崩溃前的状态。配置说明,实时模式Checkpoint配置。
State配置:配置State中数据自动清理的周期。配置说明,实时模式State配置。
运行参数:可以通过配置运行参数,控制Flink应用程序的执行行为和性能。配置说明,请参见实时模式运行参数配置。
依赖文件:配置任务依赖的资源文件。配置说明,请参见实时模式依赖文件配置。
依赖关系:配置依赖关系可帮助排查调试时快速了解数据的上下游任务。配置说明,请参见实时模式依赖关系配置。
单击确定。
步骤五:提交BLINK_DATASTREAM任务
单击页面左上方的按钮,并在提交备注对话框中填写备注信息。
单击确定并提交。
说明如果项目的模式为Dev-Prod,则您需要发布BLINK_DATASTREAM任务至生产环境。具体操作,请参见管理发布任务。
后续步骤
提交成功后,您可在运维中心查看并运维BLINK_DATASTREAM任务,保证任务的正常运行。更多信息,参见查看并管理实时任务。