实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据,同时支持对实时实例进行运维管理,包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。
实时实例页面入口
在Dataphin首页,单击顶部菜单栏的研发->任务运维。
按照以下操作指引,进入实时实例页面。
选择项目(Dev-Prod模式需要选择环境)->单击实时实例。
实时实例页面介绍
实时实例页面以列表方式,为您展示系统已生成的实时实例。实时实例页面主要由搜索及筛选区、实时实例列表、批量操作区组成。您可以在实时实例页面进行相关的运维操作。
区域 | 说明 |
①筛选及搜索区 | 支持通过输入节点ID或节点名称来搜索实时实例,适用于知晓节点ID或节点名称时进行快捷搜索出所需的实时实例。
|
②实时实例列表区 | 实时实例页面以列表形式为您展示系统已生成的实时实例。列表操作栏为您展示实时实例支持的运维管理操作。更多信息,请参见查看实时实例列表。 |
③批量操作区 | 您可通过批量操作区域提供的暂停、恢复、重跑、停止、下线运维功能,对实时实例进行批量处理,提高操作效率。更多信息,请参见实时实例批量操作。 |
查看实时实例列表
字段 | 说明 |
实例对象 | 实时任务提交发布运维中心后即生成一个实时实例对象,初始运行状态为停止,您可以手动启动。 |
运行状态 | 该实例目前的运行状态包括:启动中、运行中、停止中、停止、运行失败、启动失败。更多信息,请参见实时实例运行状态说明。 |
消费延时 | 任务的延迟,即数据源消费的延迟。 |
资源消耗 | 运行该实例时消耗的资源。 |
最近操作人 | 最近操作该实例的账号。 |
最近操作时间 | 最近操作该实例的时间。 |
负责人 | 任务的运维负责人。 |
资源队列 | 该实时实例运行在哪个资源队列中。仅适用于Alibaba BlinK、开源Flink实时引擎。 |
集群 | 该实时实例运行在哪个集群中。仅适用于Ververica Flink实时引擎。 |
引擎版本 | 该实时实例运行的引擎版本。 |
实时实例运行状态说明
状态标识 | 状态 | 说明 |
已完成 | 对于有界流数据,已完成的实例。 | |
启动中 | 已启动实例的运行,但系统未开始运行。 | |
运行中 | 正在运行中的实例。 | |
停止中 | 已触发停止实例的操作,系统正在执行停止实例。 | |
停止 | 停止正在运行的实例。 | |
运行失败 | 运行失败的实例。 | |
启动失败 | 启动失败的实例。 |
实时实例列表支持的操作
操作 | 说明 |
启动 | 启动当前实时实例。具体操作,请参见启动实时实例。 |
停止 | 停止当前运行中的实时实例。支持无状态停止和保留当前状态停止两种停止方式。
说明 Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。 |
下线 | 下线生产环境中的实时实例。系统支持下线停止、运行失败、启动失败的实时实例。 |
查看运行分析 | 查看当前实时实例的运行信息、数据曲线、Failover等参数。 计算引擎为Apache Flink。更多信息,请参见查看运行分析。 若实时实例为Ververica Flink、Alibaba BlinK实时引擎。更多信息,请参见查看作业详情。 |
查看实时任务 | 进入生成当前实例的任务页面,查看实时任务详情。 |
查看实例代码 | 查看生成当前实例的任务代码。 在Flink计算引擎下您可单击逻辑代码或物理代码进行切换查看。
|
查看实例参数 | 查看实例运行时的参数。例如, |
实时实例DAG图
单击实时实例操作列表实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
单击图标,隐藏实时实例列表,放大DAG图。
单击图标,隐藏DAG图。
鼠标悬停至图标拖动,以扩大或缩小DAG图的页面范围。
DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
区域 | 说明 |
①节点信息栏 | 展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。 Ververica Flink实时引擎:包括节点详情、运行日志、操作日志、节点代码和任务参数。 Flink实时引擎:包括节点详情、运行分析、日志、操作日志、节点代码和任务参数。 |
②节点搜索及筛选区 | 快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。 |
③调度依赖关系图 | 展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。 |
④画布调整区 | 快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。 |
实时实例DAG节点支持的操作
操作 | 说明 |
展开父节点 | 展开DAG图中Main节点不同层级的依赖节点。 |
展开子节点 | |
查看实时任务 | 进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,更多信息,请参见查看并管理实时任务。 |
查看节点代码 | 查看生成当前实例的任务代码。 在Flink计算引擎下您可单击逻辑代码或物理代码进行切换查看。 逻辑代码:编写的任务代码。 物理代码:编译后生成的可在Flink引擎上运行的代码。 |
查看运行日志 | 可查看实例节点的运行日志。同时,若任务存在脏数据时,您可以单击下载脏数据文件,将脏数据下载至本地进行查看,包括脏数据产生时间、报错内容、报错原因。文件默认保留7天。 在Flink计算引擎下支持分别看运行日志的启动日志、运行日志、异常信息,帮助您进行错误定位和排查。
|
查看任务参数 | 查看当前实例节点的任务参数。例如, |
编辑开发节点 | 进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。 |
编辑节点 | 进入生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Basic模式。 |
查看生成节点 | 查看Prod项目中生成当前实例节点的任务配置。 |
查看操作日志 | 查看当前实例的操作日志。包括操作时间,操作人、操作内容。 |
查看拓扑结构 | 查看实时实例的资源组节点和组件节点。 |
查看运行分析 | 查看当前实时实例的运行信息、数据曲线、Failover等参数。 若实时实例为Ververica Flink、Alibaba BlinK实时引擎。更多信息,请参见查看作业详情。 若实时实例为Flink实时引擎。更多信息,请参见查看运行分析。 |
启动 | 启动当前实时实例。具体操作,请参见启动实时实例。 |
停止 | 停止当前运行中、已完成(仅支持无状态停止)的实时实例。包括无状态停止和保留当前状态停止两种停止方式。
说明 Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。 |
下线 | 下线生产环境中的实时实例。系统支持下线已停止、运行失败或启动失败的实时实例。 |
实时实例批量操作
操作 | 说明 |
启动 | 批量启动当前勾选的实时实例。具体操作,请参见启动实时实例。 说明 实时集成任务不支持批量启动。 |
停止 | 批量停止当前运行中,已完成(仅支持无状态停止)的实时实例。包括无状态停止和保留当前状态停止两种停止方式。
说明 Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。 |
下线 | 下线当前选中的生产环境中的实时实例。系统支持下线停止、运行失败或启动失败的实时实例。 |