查看并管理实时任务

实时任务是指在Dataphin创建的FLINK_SQL、FLINK_TEMPLATE_SQL和FLINK_DATASTREAM类型的计算任务。在Dataphin的实时任务页面为您展示了任务实例的基本信息及运维管理选项,方便您查看实例任务并进行管理。本文为您介绍实时任务支持的运维管理功能。

实时任务页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发->任务运维

  2. 按照以下操作指引,进入实时任务页面。

    选择项目(Dev-Prod模式需要选择环境)->单击实时任务

    image

实时任务页面介绍

实时任务页面主要由快捷搜索及筛选区、实时任务列表、批量操作区组成您可以在实时任务页面对提交的实时任务进行相关的运维操作。

image

区域

描述

搜索及筛选区

支持通过输入节点ID或节点名称来搜索实时任务,适用于知晓节点ID或节点名称时进行快捷搜索出所需的实时任务。

  • 我操作的任务:任务负责人为当前登录账号的实时任务。

  • 我的已启动实例任务:任务负责人为当前登录账号且启动的实时任务。

  • 重置:如果您需要重新选择,则单击重置,可快速清除已选筛选条件。

  • 展开筛选:单击展开筛选,可展开筛选区,筛选项包括:

    • 细分类型:实时引擎不同,支持选择的细分类型也不相同,具体以实际界面为准。

    • 最近操作人:根据任务的最近操作人进行筛选。

    • 负责人:根据任务的负责人进行筛选。

    • 资源队列:实时引擎为Alibaba Blink、开源Flink时可根据任务运行的资源队列进行筛选。

    • 集群:实时引擎为Ververica Flink时可根据任务运行的集群进行筛选。

    • 引擎版本:任务使用的引擎版本。

    • 是否启动正式实例:根据正式实例是否运行进行筛选,仅适用于Prod和Basic项目。

    • 是否启动测试实例:根据测试实例是否已运行进行筛选,仅适用于Dev项目。

实时任务列表区

实时任务页面以列表形式为您展示系统已生成的实时任务。实时任务列表信息,请参见实时任务列表支持的操作

列表操作栏为您展示实时任务支持的运维管理操作。实时任务支持的运维操作,请参见实时任务列表支持的操作

批量操作区

您可通过批量操作区域提供的修改负责人、启动正式实例运维功能,对实时任务进行批量处理,提高运维效率。

实时任务支持的批量运维操作,请参见实时任务批量操作

查看实时任务列表

实时任务提交到运维中心调度后,将在实时任务列表为您展示。实时任务运维列表展示当前任务对象、最近操作人、负责人、是否启动正式实例、最近提交时间、引擎版本及支持的操作。

image.png

字段

描述

任务对象

提交到运维中心的实时任务。包含脚本名称和脚本ID。

最近操作人

任务的上一次操作人的账号名称。

负责人

任务的负责人账号名称。

是否启动正式实例

实时任务的正式实例启动状态。

最近提交时间

实时任务上一次到运维中心的时间。

引擎版本

任务所使用的引擎版本。

实时任务列表支持的操作

实时任务列表操作栏支持的运维操作如下:

操作

描述

DAG图

单击可查看该实时任务的DAG图。更多信息,请参见实时任务DAG图支持的操作

查看实例

查看实时任务运行生成的实例。

说明

查看实例需实时任务已启动运行并生成实例。

启动实例

启动实例的运行。操作详情,请参见启动实时实例

说明

仅支持启动未启动运行的实例。

查看任务代码

查看实时任务节点的代码。

查看任务参数

查看实时任务节点定义的参数。

修改负责人

生产环境下,支持修改实时任务节点的责任人。

说明

仅支持选择项目内的成员。

修改资源配置

修改实时任务运行的资源参数,包括Core、Memory等。

说明

系统仅支持对Prod和Basic项目中的任务修改资源配置。

Fusioninsight Flink引擎不支持修改资源配置。

实时任务DAG图支持的操作

实时任务在DAG图中支持的运维操作如下:

操作

描述

展开父节点

展开DAG图中main节点不同层级的依赖节点。

展开子节点

启动实时实例

实时实例的运行需要您单击image手动启动实例,并配置相关启动信息。操作详情,请参见启动实时实例

查看实时实例

进入实时实例页面,查看当前实时任务生成的实时实例。

查看节点代码

查看实时任务节点的代码。

查看任务参数

查看实时任务节点的任务参数。

查看操作日志

查看实时任务节点的操作日志。

编辑开发节点

进入Dev项目下当前任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入当前任务对应的编辑页面,编辑任务。仅适用于Basic模式。

查看生产节点

查看Prod项目中当前任务的配置。

查看任务参数

查看任务的参数。

查看拓扑结构

查看实时任务的资源组节点和组件节点。

修改资源配置

修改实时任务运行的资源参数,包括Core、Memory等。

重要

系统仅支持对Prod和Basic项目中的任务修改资源配置。

Fusioninsight Flink引擎不支持修改资源配置。

实时任务批量操作

实时任务在实时任务页面支持的运维操作如下:

操作

描述

启动正式实例

支持同时启动运行多个实时实例。

说明
  • 仅适用于Prod和Basic项目,且选中的实时任务均未启动运行。

  • 批量启动正式实例不支持实时集成任务。

  1. 勾选多个未启动的实时任务后,单击启动正式实例

  2. 批量启动实时实例对话框中,配置启动信息。

  • 启动方式:支持无状态启动和从有效的状态启动。

    • 无状态启动:不带任何初始状态启动。

    • 从有效状态启动:从已存在有效状态启动。

      说明

      若选中的实例中包含无状态的实例,则批量启动实例时仅支持选择无状态启动。

  • 指定来源表读取数据时点:设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

    重要
    • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

    • SQL作业中的代码参数配置将优先于此指定的开始时间。

  • 业务日期:支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。

    重要

    SQL作业中的代码参数配置将优先于此指定的开始时间。

  1. 单击确定

修改责任人

支持同时修改多个实时任务的责任人。

说明
  • 仅支持选择本项目内的成员。

  • 仅适用于Prod和Basic项目。