快速入门:流任务运维管理平台

流任务运维管理平台支持提交、管理作业及作业所需资源,支持不同工作空间之间的作业与资源隔离,以及用户权限管理等功能。本文介绍流任务运维管理平台的基础功能,并通过提交流引擎Jar作业、提交流引擎SQL作业、提交流引擎Python作业的示例来演示基本的使用流程。

前提条件

开通流引擎

基础功能介绍

作业管理

  • 支持创建、修改、删除作业。

  • 支持以目录形式组织管理作业。

  • 支持作业的多版本管理。

  • 支持三种作业类型:流引擎JAR、流引擎SQL和流引擎Python。

  • 支持同工作空间、跨工作空间的作业移动和复制。

依赖管理

  • 支持创建、修改、删除资源。

  • 支持以目录形式组织管理资源。

  • 支持资源的多版本管理。

  • 支持六种资源类型:Jar App、Jar Library、Config File、Python App、Python LibraryData File。其用途分别是:

    资源类型

    文件类型要求

    用途

    Jar App

    .jar

    流引擎JAR作业的主程序。

    Jar Library

    .jar

    Jar依赖,在任何作业类型里都可能被使用。

    Config File

    .txt.xml.properties等文本文件类型。

    配置文件,在流引擎JAR作业的主程序代码中读取以获取配置信息。

    Python App

    .py

    流引擎Python作业的主程序。

    Python Library

    .py.tar.gz.zip等包含Python程序的压缩包。

    流引擎Python作业的Python依赖。

    Data File

    .zip.tar.gz等包含数据文件的压缩包(数据文件可能是.txt等格式)。

    流引擎Python作业的数据依赖。

  • 支持同工作空间、跨工作空间的资源及资源目录的移动和复制。

  • 支持资源的下载、支持Config File资源的在线查看。

集群管理

支持查看可用于standalone模式创建作业的流引擎集群。

用户管理

支持查看所有可登录流任务运维管理平台的用户,与用户管理页面显示的用户是一致的

工作空间管理

支持查看、创建、删除和修改工作空间。不同工作空间之间的作业、资源是隔离、独立的。

角色管理

支持查看、创建、删除、修改角色信息。

角色用于定义权限,root用户拥有最高的管理员权限。非root用户需要root或有权限的用户通过成员管理模块,在工作空间中绑定角色后,才能获得操作权限。

成员管理

支持查看、创建、删除、修改当前工作空间下的成员信息。成员信息定义了哪些用户有什么权限可以在该工作空间做操作。

登录流任务运维管理平台

获取登录用户名和密码

  1. 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  2. 在左侧导航栏,单击 数据库连接

  3. 单击流引擎页签,获取默认用户名和密码。

登录平台

  1. 在左侧导航栏,单击流引擎

  2. 单击进入流任务运维管理平台

    说明

    流任务运维管理平台目前处于邀测阶段,如有使用需求,请联系Lindorm技术支持(钉钉号:s0s3eg3)申请使用名额。

  3. 输入用户名和密码,登录平台。

使用示例

提交流引擎Jar作业

资源准备

  1. 在左侧导航栏,单击依赖管理

  2. 在目标依赖目录上,单击右键,选择创建资源,上传必要的Jar App、Jar Library、Config File等资源。

创建作业

  1. 在左侧导航栏,单击作业管理

  2. 选择新建 > 新建作业

  3. 填写必要的参数。

    说明

    作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。

  4. 单击提交

添加作业版本

  1. 单击目标作业名称,进入作业详情页。

  2. 单击添加,配置作业版本信息。其中,内置资源是系统提供的可直接使用的依赖,无需上传。

    在主程序中使用配置文件,支持绝对路径和相对路径两种访问方式:

    • 绝对路径固定为:/home/hadoop/cluster-data/lstream/user-config/ + ConfigFile文件名

    • 相对路径可以理解为将配置文件放在了主程序Jarresources文件夹下,可以使用例如getClassLoader().getResourceAsStream(ConfigFile文件名)的方式访问。

  3. 单击创建版本

发布作业版本

单击目标版本操作列的image,发布作业版本。image

启动作业

  1. 单击目标版本操作列的image,启动作业。image

  2. 在启动作业对话框中,选择是否从某个已有的savepointcheckpoint路径启动,以继续上一次运行的运行状态。

    重要

    一个作业如果有多个版本,只能有一个版本处于运行状态。

    image

停止作业

单击目标版本操作列的image,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

image

删除作业版本

在目标版本的操作列选择image > 删除,即可删除作业版本。

image

提交流引擎 SQL作业

资源准备

  1. 在左侧导航栏,单击依赖管理

  2. 在目标依赖目录上,单击右键,选择创建资源,上传必要的Jar Library资源,支持上传UDF。

创建作业

  1. 在左侧导航栏,单击作业管理

  2. 选择新建 > 新建作业

  3. 填写必要的参数。

    说明

    作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。

  4. 单击提交

添加作业版本

  1. 单击目标作业名称,进入作业详情页。

  2. 单击添加,配置作业版本信息。

    对话框对SQL语句的自动提示、语法高亮,且支持SQL语法检测,如下图所示:image

  3. 单击创建版本

发布作业版本

单击目标版本操作列的image,发布作业版本。image

启动作业

  1. 单击目标版本操作列的image,启动作业。image

  2. 在启动作业对话框中,选择是否从某个已有的savepointcheckpoint路径启动,以继续上一次运行的运行状态。

    重要

    一个作业如果有多个版本,只能有一个版本处于运行状态。

    image

停止作业

单击目标版本操作列的image,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

image

删除作业版本

在目标版本的操作列选择image > 删除,即可删除作业版本。

image

提交流引擎Python作业

资源准备

  1. 在左侧导航栏,单击依赖管理

  2. 在目标依赖目录上,单击右键,选择创建资源,上传必要的Python App、Python Library、Data File等资源。

创建作业

  1. 在左侧导航栏,单击作业管理

  2. 选择新建 > 新建作业

  3. 填写必要的参数。

    说明

    作业名称支持中文字符、大写英文字符、小写英文字符、中划线(-)和下划线(_),不支持两个连续的空格。

  4. 单击提交

添加作业版本

  1. 单击目标作业名称,进入作业详情页。

  2. 单击添加,配置作业版本信息。其中,内置资源是系统提供的可直接使用的依赖,无需上传。

  3. 单击创建版本

发布作业版本

单击目标版本操作列的image,发布作业版本。image

启动作业

  1. 单击目标版本操作列的image,启动作业。image

  2. 在启动作业对话框中,选择是否从某个已有的savepointcheckpoint路径启动,以继续上一次运行的运行状态。

    重要

    一个作业如果有多个版本,只能有一个版本处于运行状态。

    image

停止作业

单击目标版本操作列的image,停止正在运行中的作业。停止运行可选择是否触发savepoint以保存当前运行状态,供下次启动作业使用。

image

删除作业版本

在目标版本的操作列选择image > 删除,即可删除作业版本。

image