快速入门:流任务运维管理平台

流任务运维管理平台支持提交、管理作业及作业所需资源,支持不同工作空间之间的作业与资源隔离,以及用户权限管理等功能。本文介绍流任务运维管理平台的基础功能,并通过提交Flink Jar、Flink SQLPython Flink作业的示例来演示基本的使用流程。

前提条件

开通流引擎

基础功能介绍

作业管理

  • 支持创建、修改、删除作业。

  • 支持以目录形式组织管理作业。

  • 支持作业的多版本管理。

  • 支持三种作业类型:Flink JAR、Flink SQLPython Flink。

  • 支持同工作空间、跨工作空间的作业移动和复制。

依赖管理

  • 支持创建、修改、删除资源。

  • 支持以目录形式组织管理资源。

  • 支持资源的多版本管理。

  • 支持六种资源类型:Flink Jar App、Jar Library、Config File、Flink Python App、Python LibraryData File。其用途分别是:

    资源类型

    文件类型要求

    用途

    Flink Jar App

    .jar

    Flink JAR作业的主程序。

    Jar Library

    .jar

    Jar依赖,在任何作业类型里都可能被使用。

    Config File

    .txt.xml.properties等文本文件类型。

    配置文件,在Flink JAR作业的主程序代码中读取以获取配置信息。

    Flink Python App

    .py

    Python Flink作业的主程序。

    Python Library

    .py.tar.gz.zip等包含Python程序的压缩包。

    Python Flink作业的Python依赖。

    Data File

    .zip.tar.gz等包含数据文件的压缩包(数据文件可能是.txt等格式)。

    Python Flink作业的数据依赖。

  • 支持同工作空间、跨工作空间的资源及资源目录的移动和复制。

  • 支持资源的下载、支持Config File资源的在线查看。

集群管理

支持查看可用于standalone模式创建作业的Flink集群。

用户管理

支持查看所有可登录流任务运维管理平台的用户,与用户管理页面显示的用户是一致的

工作空间管理

支持查看、创建、删除和修改工作空间。不同工作空间之间的作业、资源是隔离、独立的。

角色管理

支持查看、创建、删除、修改角色信息。

角色用于定义权限,root用户拥有最高的管理员权限。非root用户需要root或有权限的用户通过成员管理模块,在工作空间中绑定角色后,才能获得操作权限。

成员管理

支持查看、创建、删除、修改当前工作空间下的成员信息。成员信息定义了哪些用户有什么权限可以在该工作空间做操作。

登录流任务运维管理平台

获取登录用户名和密码

  1. 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  2. 在左侧导航栏,单击数据库连接

  3. 单击流引擎页签,获取默认用户名和密码。

登录平台

  1. 在左侧导航栏,单击流引擎

  2. 单击进入流任务运维管理平台

  3. 输入用户名和密码,登录平台。

使用示例

提交Flink Jar作业

资源准备

  1. 在左侧导航栏,单击依赖管理

  2. 在目标依赖目录上,单击右键,选择创建资源,上传必要的Flink Jar App、Jar Library、Config File等资源。image

创建作业

  1. 在左侧导航栏,单击作业管理

  2. 选择新建 > 新建作业image

  3. 填写必要参数:

    参数

    说明

    所属目录

    选择目标作业目录。

    作业类型

    选择Flink JAR

    作业名称

    输入作业名称。

    说明

    作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。

  4. 单击提交

添加作业版本

  1. 单击目标作业名称,进入作业详情页。

  2. 单击添加,配置作业版本信息。其中,内置资源是系统提供的可直接使用的依赖,无需上传。image

    在主程序中使用配置文件,支持绝对路径和相对路径两种访问方式:

    • 绝对路径固定为:/home/hadoop/cluster-data/lstream/user-config/ + ConfigFile文件名

    • 相对路径可以理解为将配置文件放在了主程序Jarresources文件夹下,可以使用例如getClassLoader().getResourceAsStream(ConfigFile文件名)的方式访问。

  3. 单击创建版本

发布作业版本

单击目标版本操作列的image,发布作业版本。image

启动作业

  1. 单击目标版本操作列的image,启动作业。image

  2. 在启动作业对话框中,选择是否从某个已有的savepointcheckpoint路径启动,以继续上一次运行的运行状态。

    重要

    一个作业如果有多个版本,只能有一个版本处于运行状态。

    image

停止作业

单击目标版本操作列的image,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

image

删除作业版本

在目标版本的操作列选择image > 删除,即可删除作业版本。

image

提交Flink SQL作业

资源准备

  1. 在左侧导航栏,单击依赖管理

  2. 在目标依赖目录上,单击右键,选择创建资源,上传必要的Jar Library资源,支持上传UDF。image

创建作业

  1. 在左侧导航栏,单击作业管理

  2. 选择新建 > 新建作业image

  3. 填写必要参数:

    参数

    说明

    所属目录

    选择目标作业目录。

    作业类型

    选择Flink SQL

    作业名称

    输入作业名称。

    说明

    作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。

  4. 单击提交

添加作业版本

  1. 单击目标作业名称,进入作业详情页。

  2. 单击添加,配置作业版本信息。flink-sql作业版本

    对话框对SQL语句的自动提示、语法高亮,且支持SQL语法检测,如下图所示:image

  3. 单击创建版本

发布作业版本

单击目标版本操作列的image,发布作业版本。image

启动作业

  1. 单击目标版本操作列的image,启动作业。image

  2. 在启动作业对话框中,选择是否从某个已有的savepointcheckpoint路径启动,以继续上一次运行的运行状态。

    重要

    一个作业如果有多个版本,只能有一个版本处于运行状态。

    image

停止作业

单击目标版本操作列的image,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

image

删除作业版本

在目标版本的操作列选择image > 删除,即可删除作业版本。

image

提交Python Flink作业

资源准备

  1. 在左侧导航栏,单击依赖管理

  2. 在目标依赖目录上,单击右键,选择创建资源,上传必要的Flink Python App、Python Library、Data File等资源。image

创建作业

  1. 在左侧导航栏,单击作业管理

  2. 选择新建 > 新建作业image

  3. 填写必要参数:

    参数

    说明

    所属目录

    选择目标作业目录。

    作业类型

    选择Flink JAR

    作业名称

    输入作业名称。

    说明

    作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。

  4. 单击提交

添加作业版本

  1. 单击目标作业名称,进入作业详情页。

  2. 单击添加,配置作业版本信息。其中,内置资源是系统提供的可直接使用的依赖,无需上传。python-flink作业配置

  3. 单击创建版本

发布作业版本

单击目标版本操作列的image,发布作业版本。image

启动作业

  1. 单击目标版本操作列的image,启动作业。image

  2. 在启动作业对话框中,选择是否从某个已有的savepointcheckpoint路径启动,以继续上一次运行的运行状态。

    重要

    一个作业如果有多个版本,只能有一个版本处于运行状态。

    image

停止作业

单击目标版本操作列的image,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

image

删除作业版本

在目标版本的操作列选择image > 删除,即可删除作业版本。

image