查看并管理实时实例

实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据,同时支持对实时实例进行运维管理,包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。

实时实例页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发->任务运维

  2. 按照以下操作指引,进入实时实例页面。

    选择项目(Dev-Prod模式需要选择环境)->单击实时实例

    image

实时实例页面介绍

实时实例页面以列表方式,为您展示系统已生成的实时实例。实时实例页面主要由搜索及筛选区、实时实例列表、批量操作区组成您可以在实时实例页面进行相关的运维操作。

image

区域

说明

筛选及搜索区

支持通过输入节点ID或节点名称来搜索实时实例,适用于知晓节点ID或节点名称时进行快捷搜索出所需的实时实例。

  • 我的停止实例:调度负责人为您自己,且已停止运行的实例。

  • 我今日操作的实例:调度负责人为您自己,且当日已操作过的实例。

  • 重置:如果您需要重新筛选,则可单击重置,即可快速清空所有筛选条件,恢复系统默认。

  • 展开筛选:支持筛选项包括:

    • 业务类型:包括FLINK_SQL、FLINK_DATASTREAM和实时集成

    • 运行状态:实例的运行状态。

    • 最近操作人:实例最近一次的操作人。

    • 负责人:任务的运维负责人。

    • 集群:Ververica Flink实时计算引擎的集群ID。

    • 资源队列:Alibaba Blink、开源Flink实时计算引擎的资源队列ID。

    • 引擎版本:资源队列的版本。

    • 操作日期:操作该实例的时间。

实时实例列表区

实时实例页面以列表形式为您展示系统已生成的实时实例。列表操作栏为您展示实时实例支持的运维管理操作。更多信息,请参见查看实时实例列表

批量操作区

您可通过批量操作区域提供的暂停、恢复、重跑、停止、下线运维功能,对实时实例进行批量处理,提高操作效率。更多信息,请参见实时实例批量操作

查看实时实例列表

image

字段

说明

实例对象

实时任务提交发布运维中心后即生成一个实时实例对象,初始运行状态为停止,您可以手动启动。

运行状态

该实例目前的运行状态包括:启动中、运行中、停止中、停止、运行失败、启动失败。更多信息,请参见实时实例运行状态说明

消费延时

任务的延迟,即数据源消费的延迟。

资源消耗

运行该实例时消耗的资源。

最近操作人

最近操作该实例的账号。

最近操作时间

最近操作该实例的时间。

负责人

任务的运维负责人。

资源队列

该实时实例运行在哪个资源队列中。仅适用于Alibaba BlinK、开源Flink实时引擎。

集群

该实时实例运行在哪个集群中。仅适用于Ververica Flink实时引擎。

引擎版本

该实时实例运行的引擎版本。

实时实例运行状态说明

状态标识

状态

说明

image.png

已完成

对于有界流数据,已完成的实例。

image

启动中

已启动实例的运行,但系统未开始运行。

image

运行中

正在运行中的实例。

image

停止中

已触发停止实例的操作,系统正在执行停止实例。

image

停止

停止正在运行的实例。

image

运行失败

运行失败的实例。

image

启动失败

启动失败的实例。

实时实例列表支持的操作

操作

说明

启动

启动当前实时实例。具体操作,请参见启动实时实例

停止

停止当前运行中的实时实例。支持无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

    重要

    无状态停止会清空之前保存的Savepoint,但不清除Checkpoint。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线生产环境中的实时实例。系统支持下线停止运行失败、启动失败的实时实例。

查看运行分析

查看当前实时实例的运行信息、数据曲线、Failover等参数。

计算引擎为Apache Flink。更多信息,请参见查看运行分析

若实时实例为Ververica Flink、Alibaba BlinK实时引擎。更多信息,请参见查看作业详情

查看实时任务

进入生成当前实例的任务页面,查看实时任务详情。

查看实例代码

查看生成当前实例的任务代码。

在Flink计算引擎下您可单击逻辑代码物理代码进行切换查看。

  • 逻辑代码:编写的任务代码。

  • 物理代码:编译后生成的可在Flink引擎上运行的代码。

    image

查看实例参数

查看实例运行时的参数。例如,metrics.reporter.promappmgr.port等参数。

实时实例DAG图

单击实时实例操作列表实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:

  • 单击tegtwe图标,隐藏实时实例列表,放大DAG图。

  • 单击geg图标,隐藏DAG图。

  • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:

image

区域

说明

节点信息栏

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。

Ververica Flink实时引擎:包括节点详情、运行日志、操作日志、节点代码和任务参数。

Flink实时引擎:包括节点详情、运行分析、日志、操作日志、节点代码和任务参数。

节点搜索及筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。

实时实例DAG节点支持的操作

操作

说明

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看实时任务

进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,更多信息,请参见查看并管理实时任务

查看节点代码

查看生成当前实例的任务代码。

在Flink计算引擎下您可单击逻辑代码物理代码进行切换查看。

逻辑代码:编写的任务代码。

物理代码:编译后生成的可在Flink引擎上运行的代码。

image..png

查看运行日志

可查看实例节点的运行日志。同时,若任务存在脏数据时,您可以单击下载脏数据文件,将脏数据下载至本地进行查看,包括脏数据产生时间报错内容报错原因。文件默认保留7天

在Flink计算引擎下支持分别看运行日志的启动日志、运行日志、异常信息,帮助您进行错误定位和排查。

  • 启动日志:Dataphin客户端把Flink作业提交到Yarn的过程中的日志信息。

  • 运行日志:Flink作业的Job Manager、TaskManager运行过程中的日志信息。

    说明
    • 日志的存储时间默认为7个自然日。

    • 日志输出级别包含Warning和Error级别的日志信息。

  • 异常信息:任务运行中产生的exception错误信息。包括异常发生的时间、异常的名称、发生异常的Task、TaskManager节点的主机名或IP地址。单击image..png查看图标可查看异常历史信息的详情。

查看任务参数

查看当前实例节点的任务参数。例如,execution.checkpointing.interval等任务参数信息。

编辑开发节点

进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Basic模式。

查看生成节点

查看Prod项目中生成当前实例节点的任务配置。

查看操作日志

查看当前实例的操作日志。包括操作时间操作人操作内容。

查看拓扑结构

查看实时实例的资源组节点和组件节点。

查看运行分析

查看当前实时实例的运行信息、数据曲线、Failover等参数。

若实时实例为Ververica Flink、Alibaba BlinK实时引擎。更多信息,请参见查看作业详情

若实时实例为Flink实时引擎。更多信息,请参见查看运行分析

启动

启动当前实时实例。具体操作,请参见启动实时实例

停止

停止当前运行中、已完成(仅支持无状态停止)的实时实例。包括无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线生产环境中的实时实例。系统支持下线已停止运行失败启动失败的实时实例。

实时实例批量操作

操作

说明

启动

批量启动当前勾选的实时实例。具体操作,请参见启动实时实例

说明

实时集成任务不支持批量启动。

停止

批量停止当前运行中,已完成(仅支持无状态停止)的实时实例。包括无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

    重要

    无状态停止会清空之前保存的Savepoint,但不清除Checkpoint。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线当前选中的生产环境中的实时实例。系统支持下线停止运行失败启动失败的实时实例。