流任务运维管理平台支持提交、管理作业及作业所需资源,支持不同工作空间之间的作业与资源隔离,以及用户权限管理等功能。本文介绍流任务运维管理平台的基础功能,并通过提交流引擎Jar作业、提交流引擎SQL作业、提交流引擎Python作业的示例来演示基本的使用流程。
前提条件
已开通流引擎。
基础功能介绍
作业管理
支持创建、修改、删除作业。
支持以目录形式组织管理作业。
支持作业的多版本管理。
支持三种作业类型:流引擎JAR、流引擎SQL和流引擎Python。
支持同工作空间、跨工作空间的作业移动和复制。
依赖管理
支持创建、修改、删除资源。
支持以目录形式组织管理资源。
支持资源的多版本管理。
支持六种资源类型:Jar App、Jar Library、Config File、Python App、Python Library和Data File。其用途分别是:
资源类型
文件类型要求
用途
Jar App
.jar流引擎JAR作业的主程序。
Jar Library
.jarJar依赖,在任何作业类型里都可能被使用。
Config File
.txt、.xml、.properties等文本文件类型。配置文件,在流引擎JAR作业的主程序代码中读取以获取配置信息。
Python App
.py流引擎Python作业的主程序。
Python Library
.py或.tar.gz、.zip等包含Python程序的压缩包。流引擎Python作业的Python依赖。
Data File
.zip、.tar.gz等包含数据文件的压缩包(数据文件可能是.txt等格式)。流引擎Python作业的数据依赖。
支持同工作空间、跨工作空间的资源及资源目录的移动和复制。
支持资源的下载、支持Config File资源的在线查看。
集群管理
支持查看可用于standalone模式创建作业的流引擎集群。
用户管理
支持查看所有可登录流任务运维管理平台的用户,与用户管理页面显示的用户是一致的。
工作空间管理
支持查看、创建、删除和修改工作空间。不同工作空间之间的作业、资源是隔离、独立的。
角色管理
支持查看、创建、删除、修改角色信息。
角色用于定义权限,root用户拥有最高的管理员权限。非root用户需要root或有权限的用户通过成员管理模块,在工作空间中绑定角色后,才能获得操作权限。
成员管理
支持查看、创建、删除、修改当前工作空间下的成员信息。成员信息定义了哪些用户有什么权限可以在该工作空间做操作。
登录流任务运维管理平台
获取登录用户名和密码
登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理。
在左侧导航栏,单击 数据库连接。
单击流引擎页签,获取默认用户名和密码。
登录平台
在左侧导航栏,单击流引擎。
单击进入流任务运维管理平台。
说明流任务运维管理平台目前处于邀测阶段,如有使用需求,请联系Lindorm技术支持(钉钉号:s0s3eg3)申请使用名额。
输入用户名和密码,登录平台。
使用示例
提交流引擎Jar作业
资源准备
在左侧导航栏,单击依赖管理。
在目标依赖目录上,单击右键,选择创建资源,上传必要的Jar App、Jar Library、Config File等资源。
创建作业
在左侧导航栏,单击作业管理。
选择。
填写必要的参数。
说明作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。
单击提交。
添加作业版本
单击目标作业名称,进入作业详情页。
单击添加,配置作业版本信息。其中,内置资源是系统提供的可直接使用的依赖,无需上传。
在主程序中使用配置文件,支持绝对路径和相对路径两种访问方式:
绝对路径固定为:
/home/hadoop/cluster-data/lstream/user-config/ + ConfigFile文件名。相对路径可以理解为将配置文件放在了主程序Jar的
resources文件夹下,可以使用例如getClassLoader().getResourceAsStream(ConfigFile文件名)的方式访问。
单击创建版本。
发布作业版本
单击目标版本操作列的
,发布作业版本。
启动作业
单击目标版本操作列的
,启动作业。
在启动作业对话框中,选择是否从某个已有的savepoint或checkpoint路径启动,以继续上一次运行的运行状态。
重要一个作业如果有多个版本,只能有一个版本处于运行状态。

停止作业
单击目标版本操作列的
,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

删除作业版本
在目标版本的操作列选择,即可删除作业版本。

提交流引擎 SQL作业
资源准备
在左侧导航栏,单击依赖管理。
在目标依赖目录上,单击右键,选择创建资源,上传必要的Jar Library资源,支持上传UDF。
创建作业
在左侧导航栏,单击作业管理。
选择。
填写必要的参数。
说明作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。
单击提交。
添加作业版本
单击目标作业名称,进入作业详情页。
单击添加,配置作业版本信息。
对话框对SQL语句的自动提示、语法高亮,且支持SQL语法检测,如下图所示:

单击创建版本。
发布作业版本
单击目标版本操作列的
,发布作业版本。
启动作业
单击目标版本操作列的
,启动作业。
在启动作业对话框中,选择是否从某个已有的savepoint或checkpoint路径启动,以继续上一次运行的运行状态。
重要一个作业如果有多个版本,只能有一个版本处于运行状态。

停止作业
单击目标版本操作列的
,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

删除作业版本
在目标版本的操作列选择,即可删除作业版本。

提交流引擎Python作业
资源准备
在左侧导航栏,单击依赖管理。
在目标依赖目录上,单击右键,选择创建资源,上传必要的Python App、Python Library、Data File等资源。
创建作业
在左侧导航栏,单击作业管理。
选择。
填写必要的参数。
说明作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。
单击提交。
添加作业版本
单击目标作业名称,进入作业详情页。
单击添加,配置作业版本信息。其中,内置资源是系统提供的可直接使用的依赖,无需上传。
单击创建版本。
发布作业版本
单击目标版本操作列的
,发布作业版本。
启动作业
单击目标版本操作列的
,启动作业。
在启动作业对话框中,选择是否从某个已有的savepoint或checkpoint路径启动,以继续上一次运行的运行状态。
重要一个作业如果有多个版本,只能有一个版本处于运行状态。

停止作业
单击目标版本操作列的
,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

删除作业版本
在目标版本的操作列选择,即可删除作业版本。

> 删除