查看并管理实时实例

更新时间:2025-03-05 07:03:03

实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据,同时支持对实时实例进行运维管理,包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。

实时实例页面入口

  1. Dataphin首页的顶部菜单栏中,选择研发 > 任务运维

  2. 在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。

  3. 在左侧导航栏中选择实例运维 > 实时实例,打开实时实例页面。

实时实例页面介绍

实时实例页面以列表方式,为您展示系统已生成的实时实例。实时实例页面主要由搜索及筛选区、实时实例列表、批量操作区组成您可以在实时实例页面进行相关的运维操作。

image

区块

说明

区块

说明

筛选及搜索区

支持输入实例对象名称或ID来搜索实时实例,适用于知道实时对象名称或ID时进行快捷搜索。

  • 我的停止实例:调度负责人为当前登录账号,且已停止运行的实例。

  • 我今日操作的实例:调度负责人为当前登录账号,且当日已操作过的实例。

  • 展开筛选:支持筛选项包括:

    • 细分类型:包括FLINK_SQL、FLINK_TEMPLATE_SQL、FLINK_DATASTREAM和实时集成

    • 运行状态:实例的运行状态。

    • 最近操作人:实例最近一次的操作人。

    • 负责人:任务的运维负责人。

    • 集群:Ververica Flink实时计算引擎的集群ID。

    • 资源队列:Alibaba Blink、开源Flink实时计算引擎的资源队列ID。

    • 引擎版本:资源队列的版本。

    • 操作日期:操作该实例的时间。

  • 重置:打开所有筛选项后,可单击重置,快速清除已选筛选条件。

  • 查看实例统计:单击后跳转至实例统计页面查看详情,详情请参考查看实例统计

  • 导出实例列表:单击后导出筛选/搜索后的实例,导出表格格式为.csv。

  • 刷新:单击刷新图标,刷新当前实时任务列表。

实时实例列表

实时实例页面以列表形式为您展示系统已生成的实时实例。实时实例列表中包含实例对象、运行状态、最近操作人、最近更新时间、负责人等信息。

  • 实例对象:实时任务提交发布运维中心后即生成一个实时实例对象,初始运行状态为停止,您可以手动启动。

  • 运行状态:该实例目前的运行状态包括:启动中、运行中、停止中、停止、运行失败、启动失败。更多信息,请参见实时实例运行状态说明

  • 消费延时(s):任务的延迟,即数据源消费的延迟。

  • 最近操作人:运行该实例时消耗的资源。

  • 最近更新时间:最近操作该实例的账号。

  • 负责人:任务的运维负责人。

  • 资源队列:该实时实例运行在哪个资源队列中。仅适用于Alibaba Blink、开源Flink实时引擎。

  • 集群:该实时实例运行在哪个集群中。仅适用于Ververica Flink实时引擎。

  • 引擎版本:该实时实例运行的引擎版本。

列表操作栏为您展示实时实例支持的运维管理操作。实时实例支持的单个运维操作,请参见。

批量操作

您可通过批量操作区域提供的暂停、恢复、重跑、停止、下线运维功能,对实时实例进行批量处理,提高操作效率。

实时实例支持的批量运维操作,请参见批量操作

实时实例运行状态说明

状态标识

状态

说明

状态标识

状态

说明

image.png

已完成

对于有界流数据,已完成的实例。

image

启动中

已启动实例的运行,但系统未开始运行。

image

运行中

正在运行中的实例。

image

停止中

已触发停止实例的操作,系统正在执行停止实例。

image

停止

停止正在运行的实例。

image

运行失败

运行失败的实例。

image

启动失败

启动失败的实例。

管理实时实例

单个操作

操作项

描述

操作项

描述

启动

单击目标实时实例操作列的image图标,启动当前实时实例。具体操作,请参见启动实时实例

停止

单击目标实时实例操作列的image图标,停止当前运行中的实时实例。支持无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

    重要

    无状态停止会清空之前保存的Savepoint,但不清除Checkpoint。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明
  • Blink实时计算引擎不支持选择无状态停止保留当前状态停止

  • 实时集成实例仅支持无状态停止。单击停止后,停止实时增量任务并停止所有同步中的离线任务。

下线

单击目标实时实例操作列的image图标,下线生产环境中的实时实例。系统支持下线停止运行失败、启动失败的实时实例。

查看运行分析

单击目标实时实例操作列的image图标,查看当前实时实例的运行信息、数据曲线、Failover等参数。

计算引擎为Apache Flink。更多信息,请参见查看运行分析

若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息,请参见查看作业详情

查看实时任务

单击目标实时实例操作列的image图标,选择查看实时任务,进入生成当前实例的任务页面,查看实时任务详情。

查看实例代码

单击目标实时实例操作列的image图标,选择查看实例代码,查看生成当前实例的任务代码。

Flink计算引擎下您可单击逻辑代码物理代码进行切换查看。

  • 逻辑代码:编写的任务代码。

  • 物理代码:编译后生成的可在Flink引擎上运行的代码。

    image

查看实例参数

单击目标实时实例操作列的image图标,选择查看实例参数,查看实例运行时的参数。例如metrics.reporter.promappmgr.port等参数。

查看同步对象

单击目标实时实例操作列的image图标,选择查看同步对象,打开该实时实例详情的同步对象页签,同步对象详情包括增量同步全量同步

  • 增量同步:展示运行状态、开始运行时间、延时和最新读取位置信息。支持启动、停止、查看运行日志和查看节点代码操作。

    • 运行状态:原实时集成任务的运行状态,包含已完成、启动中、启动失败、运行中、运行失败、停止中和停止。当运行失败时,可查看错误原因;当实时任务被暂停,此时任务状态为运行中,但此处运行状态展示为运行中(暂停)。

    • 开始运行时间:实时增量同步的起始时间。

    • 延时:实时增量任务的延时。

    • 最新读取位置:读取到的时间位点。

  • 全量同步:展示总同步状态、同步进度、来源对象、目标对象、状态、同步时间、耗时、速度、数据量等信息。支持输入来源/目标对象名称进行搜索、根据对象同步状态进行筛选。

    • 总同步状态:全量同步所有来源对象的总体同步状态,包含未开始、同步中、同步完成和同步失败。

      • 未开始:所有来源对象同步状态均为未开始。未开始状态下,不展示同步进度。

      • 同步中:存在同步中的来源对象。

      • 同步完成:所有来源对象同步状态仅包含同步完成、已忽略和已停止。

      • 同步失败:存在同步失败的来源对象。

    • 同步进度:全量同步的整体进度,展示为已完成数/总对象数

    • 来源对象目标对象:展示为schema.来源/目标表名来源/目标数据源名

    • 状态:包含未开始、停止中、已停止、已忽略、同步中、同步失败和同步完成。

      • 未开始:未运行,等待增量任务暂停后开始同步。

      • 停止中:最后一次同步中的临时任务被手动停止,但未完成停止。

      • 已停止:最后一次同步中的临时任务被手动停止。

      • 已忽略:任务未开始或任务失败时单击忽略操作后,任务状态将展示为已忽略。

      • 同步中:最后一次临时任务正在运行中。

      • 同步失败:最后一次临时任务运行失败。

      • 同步完成:最后一次临时任务运行成功。

    • 同步时间:临时任务的启动/结束时间,展示为开始时间~结束时间,若未开始未结束则为-

    • 耗时:临时任务运行总耗时。

    • 速度:同步速度,计算公式为最后一次临时任务执行完成同步的总数据量/耗时

    • 数据量:最后一次临时任务执行完成同步的总数据量。

    • 操作:仅当增量同步的运行状态为运行中时,支持查看日志、运行、停止和忽略操作。

      • 查看日志:单击查看日志,打开最后一次临时任务的日志查看页面。

      • 运行批量运行:仅当状态为已忽略、已停止、同步失败和同步完成时支持运行操作。同步对象全量同步时会清空对应目标表的数据,以及该任务的调度资源组,可调整调度资源组。

      • 停止批量停止:仅同步中的同步对象支持停止操作,停止后不阻塞任务运行。

      • 忽略批量忽略:仅未开始、同步失败的同步对象支持忽略操作,忽略后不阻塞任务运行。

说明

仅同步方案为实时增量+全量实时集成实例支持此项。

刷新同步对象

单击目标实时实例操作列的image图标,选择刷新同步对象,在刷新同步对象对话框中单击确定后,将按照新的同步范围进行运行。

  • 仅同步对象范围发生变更

    • 新增同步对象:增量同步暂停(任务状态仍然是运行中),运行新增对象的临时全量任务,已运行成功的全量任务不再运行,所有新增的临时全量任务执行完毕后,继续运行增量同步。

    • 删除同步对象:移除同步对象,增量同步任务减少同步范围继续执行。

  • 除同步对象范围外还有其他变更(例如进行了任务配置调整、目标表调整等):增量同步停止,若存在同步范围变更,先完成新增对象的同步,再重新启动增量同步任务。已存在的全量任务,用户可按需在同步对象页面根据对象进行手动处理。

说明

仅同步方案为实时增量+全量、状态为运行中同步内容发生变更实时集成实例支持此项。

批量操作

操作项

描述

操作项

描述

启动

批量启动当前选中的实时实例。具体操作,请参见启动实时实例

说明

实时集成任务不支持批量启动。

停止

批量停止当前运行中,已完成(仅支持无状态停止)的实时实例。包括无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

    重要

    无状态停止会清空之前保存的Savepoint,但不清除Checkpoint。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线当前选中的生产环境中的实时实例。系统支持下线停止运行失败启动失败的实时实例。

实时实例DAG

单击实时实例操作列表实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:

  • 单击tegtwe图标,隐藏实时实例列表,放大DAG图。

  • 单击geg图标,隐藏DAG图。

  • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:

image

区块

说明

区块

说明

节点信息栏

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。

Ververica Flink实时引擎:包括节点详情、运行日志、操作日志、节点代码和任务参数。

Flink实时引擎:包括节点详情、运行分析、日志、操作日志、节点代码和任务参数。

节点搜索及筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。

实时实例DAG节点支持的操作

操作项

描述

操作项

描述

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看实时任务

进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,更多信息,请参见查看并管理实时任务

查看节点代码

查看生成当前实例的任务代码。

Flink计算引擎下您可单击逻辑代码物理代码进行切换查看。

逻辑代码:编写的任务代码。

物理代码:编译后生成的可在Flink引擎上运行的代码。

image..png

查看运行日志

可查看实例节点的运行日志。同时,若任务存在脏数据时,您可以单击下载脏数据文件,将脏数据下载至本地进行查看,包括脏数据产生时间报错内容报错原因。文件默认保留7

Flink计算引擎下支持分别看运行日志的启动日志、运行日志、异常信息,帮助您进行错误定位和排查。

  • 启动日志:Dataphin客户端把Flink作业提交到Yarn的过程中的日志信息。

  • 运行日志:Flink作业的Job Manager、TaskManager运行过程中的日志信息。

    说明
    • 日志的存储时间默认为7个自然日。

    • 日志输出级别包含WarningError级别的日志信息。

  • 异常信息:任务运行中产生的exception错误信息。包括异常发生的时间、异常的名称、发生异常的Task、TaskManager节点的主机名或IP地址。单击image..png查看图标可查看异常历史信息的详情。

查看任务参数

查看当前实例节点的任务参数。例如,execution.checkpointing.interval等任务参数信息。

编辑开发节点

进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Basic模式。

查看生成节点

查看Prod项目中生成当前实例节点的任务配置。

查看操作日志

查看当前实例的操作日志。包括操作时间操作人操作内容。

查看拓扑结构

查看实时实例的资源组节点和组件节点。

查看运行分析

查看当前实时实例的运行信息、数据曲线、Failover等参数。

若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息,请参见查看作业详情

若实时实例为Flink实时引擎。更多信息,请参见查看运行分析

查看同步对象

在当前实时实例详情的同步对象页签中,查看同步对象详情,包括增量同步全量同步。各字段详情同管理实时实例-单个操作中的查看同步对象。

刷新同步对象

单击刷新同步对象,在刷新同步对象对话框中单击确定后,将按照新的同步范围运行当前实时实例。各字段详情同管理实时实例-单个操作中的刷新同步对象。

启动

启动当前实时实例。具体操作,请参见启动实时实例

停止

停止当前运行中、已完成(仅支持无状态停止)的实时实例。包括无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线生产环境中的实时实例。系统支持下线已停止运行失败启动失败的实时实例。

  • 本页导读 (0)
  • 实时实例页面入口
  • 实时实例页面介绍
  • 实时实例运行状态说明
  • 管理实时实例
  • 单个操作
  • 批量操作
  • 实时实例DAG图
  • 实时实例DAG节点支持的操作
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等