实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据,同时支持对实时实例进行运维管理,包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。
实时实例页面入口
在Dataphin首页的顶部菜单栏中,选择研发 > 任务运维。
在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。
在左侧导航栏中选择实例运维 > 实时实例,打开实时实例页面。
实时实例页面介绍
实时实例页面以列表方式,为您展示系统已生成的实时实例。实时实例页面主要由搜索及筛选区、实时实例列表、批量操作区组成。您可以在实时实例页面进行相关的运维操作。
区块 | 说明 |
区块 | 说明 |
①筛选及搜索区 | 支持输入实例对象名称或ID来搜索实时实例,适用于知道实时对象名称或ID时进行快捷搜索。
|
②实时实例列表 | 实时实例页面以列表形式为您展示系统已生成的实时实例。实时实例列表中包含实例对象、运行状态、最近操作人、最近更新时间、负责人等信息。
列表操作栏为您展示实时实例支持的运维管理操作。实时实例支持的单个运维操作,请参见。 |
③批量操作 | 您可通过批量操作区域提供的暂停、恢复、重跑、停止、下线运维功能,对实时实例进行批量处理,提高操作效率。 实时实例支持的批量运维操作,请参见批量操作。 |
实时实例运行状态说明
状态标识 | 状态 | 说明 |
状态标识 | 状态 | 说明 |
已完成 | 对于有界流数据,已完成的实例。 | |
启动中 | 已启动实例的运行,但系统未开始运行。 | |
运行中 | 正在运行中的实例。 | |
停止中 | 已触发停止实例的操作,系统正在执行停止实例。 | |
停止 | 停止正在运行的实例。 | |
运行失败 | 运行失败的实例。 | |
启动失败 | 启动失败的实例。 |
管理实时实例
单个操作
操作项 | 描述 |
操作项 | 描述 |
启动 | 单击目标实时实例操作列的 |
停止 | 单击目标实时实例操作列的
|
下线 | 单击目标实时实例操作列的 |
查看运行分析 | 单击目标实时实例操作列的 计算引擎为Apache Flink。更多信息,请参见查看运行分析。 若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息,请参见查看作业详情。 |
查看实时任务 | 单击目标实时实例操作列的 |
查看实例代码 | 单击目标实时实例操作列的 在Flink计算引擎下您可单击逻辑代码或物理代码进行切换查看。
|
查看实例参数 | 单击目标实时实例操作列的 |
查看同步对象 | 单击目标实时实例操作列的
仅同步方案为实时增量+全量的实时集成实例支持此项。 |
刷新同步对象 | 单击目标实时实例操作列的
仅同步方案为实时增量+全量、状态为运行中且同步内容发生变更的实时集成实例支持此项。 |
批量操作
操作项 | 描述 |
操作项 | 描述 |
启动 | 批量启动当前选中的实时实例。具体操作,请参见启动实时实例。 实时集成任务不支持批量启动。 |
停止 | 批量停止当前运行中,已完成(仅支持无状态停止)的实时实例。包括无状态停止和保留当前状态停止两种停止方式。
Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。 |
下线 | 下线当前选中的生产环境中的实时实例。系统支持下线停止、运行失败或启动失败的实时实例。 |
实时实例DAG图
单击实时实例操作列表实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
单击
图标,隐藏实时实例列表,放大DAG图。
单击
图标,隐藏DAG图。
鼠标悬停至
图标拖动,以扩大或缩小DAG图的页面范围。
DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
区块 | 说明 |
区块 | 说明 |
①节点信息栏 | 展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。 Ververica Flink实时引擎:包括节点详情、运行日志、操作日志、节点代码和任务参数。 Flink实时引擎:包括节点详情、运行分析、日志、操作日志、节点代码和任务参数。 |
②节点搜索及筛选区 | 快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。 |
③调度依赖关系图 | 展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。 |
④画布调整区 | 快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。 |
实时实例DAG节点支持的操作
操作项 | 描述 |
操作项 | 描述 |
展开父节点 | 展开DAG图中Main节点不同层级的依赖节点。 |
展开子节点 | |
查看实时任务 | 进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,更多信息,请参见查看并管理实时任务。 |
查看节点代码 | 查看生成当前实例的任务代码。 在Flink计算引擎下您可单击逻辑代码或物理代码进行切换查看。 逻辑代码:编写的任务代码。 物理代码:编译后生成的可在Flink引擎上运行的代码。 |
查看运行日志 | 可查看实例节点的运行日志。同时,若任务存在脏数据时,您可以单击下载脏数据文件,将脏数据下载至本地进行查看,包括脏数据产生时间、报错内容、报错原因。文件默认保留7天。 在Flink计算引擎下支持分别看运行日志的启动日志、运行日志、异常信息,帮助您进行错误定位和排查。
|
查看任务参数 | 查看当前实例节点的任务参数。例如, |
编辑开发节点 | 进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。 |
编辑节点 | 进入生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Basic模式。 |
查看生成节点 | 查看Prod项目中生成当前实例节点的任务配置。 |
查看操作日志 | 查看当前实例的操作日志。包括操作时间,操作人、操作内容。 |
查看拓扑结构 | 查看实时实例的资源组节点和组件节点。 |
查看运行分析 | 查看当前实时实例的运行信息、数据曲线、Failover等参数。 若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息,请参见查看作业详情。 若实时实例为Flink实时引擎。更多信息,请参见查看运行分析。 |
查看同步对象 | 在当前实时实例详情的同步对象页签中,查看同步对象详情,包括增量同步和全量同步。各字段详情同管理实时实例-单个操作中的查看同步对象。 |
刷新同步对象 | 单击刷新同步对象,在刷新同步对象对话框中单击确定后,将按照新的同步范围运行当前实时实例。各字段详情同管理实时实例-单个操作中的刷新同步对象。 |
启动 | 启动当前实时实例。具体操作,请参见启动实时实例。 |
停止 | 停止当前运行中、已完成(仅支持无状态停止)的实时实例。包括无状态停止和保留当前状态停止两种停止方式。
Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。 |
下线 | 下线生产环境中的实时实例。系统支持下线已停止、运行失败或启动失败的实时实例。 |
- 本页导读 (0)
- 实时实例页面入口
- 实时实例页面介绍
- 实时实例运行状态说明
- 管理实时实例
- 单个操作
- 批量操作
- 实时实例DAG图
- 实时实例DAG节点支持的操作