实时实例全方位运维管理指南-智能数据建设与治理 Dataphin-阿里云-智能数据建设与治理 Dataphin(Dataphin)-阿里云帮助中心

文档备案控制台

实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。

实时实例页面入口

在Dataphin首页的顶部菜单栏中，选择研发 > 任务运维。
在顶部菜单栏选择生产或开发环境。
在左侧导航栏中选择实例运维 > 实时实例，打开实时实例页面。

实时实例页面介绍

实时实例页面以列表方式，为您展示系统已生成的实时实例，您可以在实时实例页面进行相关的运维操作。

区块	说明
①筛选及搜索区	支持输入实例对象名称或ID来搜索实时实例，适用于知道实时对象名称或ID时进行快捷搜索。我的停止实例：调度负责人为当前登录账号，且已停止运行的实例。我今日操作的实例：调度负责人为当前登录账号，且当日已操作过的实例。项目：根据任务所在项目进行筛选，可选择多个当前登录用户拥有运维-访问目录权限的项目。展开筛选：单击筛选，可展开所有筛选项，筛选项包括：细分类型：包括Flink SQL、Flink Template SQL、Flink DataStream、实时集成、实时工作流。运行状态：可选择多个实例的运行状态进行筛选，包括已完成、启动中、启动失败、运行中、运行失败、停止中和停止。最近操作人：根据实例的最近操作人进行筛选。负责人：根据实例的运维负责人进行筛选。引擎类型：根据引擎类型进行筛选，包含Ververica Flink、Blink、Flink、FusionInsight Flink。集群：Ververica Flink实时计算引擎的集群ID。引擎版本：实例使用的引擎版本。操作日期：操作该实例的时间。重置：打开所有筛选项后，可单击重置，快速清除已选筛选条件。
②列表操作	查看实例统计：单击后跳转至实例统计页面查看详情，详情请参考查看实例统计。导出实例列表：单击后导出筛选/搜索后的实例，导出表格格式为.csv。自定义列表表头：单击图标，可选择列表展示项，并调整展示顺序。说明首列和操作列不支持取消展示及调整顺序。用户清除浏览器缓存或更换浏览器后，表头将恢复默认设置。刷新列表：单击图标，刷新当前列表。
③实时实例列表	实时实例页面以列表形式为您展示系统已生成的实时实例。实时实例列表中包含实例对象、运行状态、最近操作人、最近更新时间、负责人、项目等信息。您可自由调整各列列宽，调整完成后，所设置列宽将保留在您本地浏览器中，清除浏览器记录和Cookie后失效。实例对象：实时任务提交发布运维中心后即生成一个实时实例对象，初始运行状态为停止，您可以手动启动。运行状态：该实例目前的运行状态包括：启动中、运行中、停止中、停止、运行失败、启动失败。更多信息，请参见实时实例运行状态说明。消费延时（s）：任务的延迟，即数据源消费的延迟。最近操作人：运行该实例时消耗的资源。最近更新时间：最近操作该实例的账号。负责人：实例的运维负责人。项目：实例所属的项目，展示格式为`项目英文名（项目中文名）`。引擎类型：当前实时实例所使用的引擎类型。集群：该实时实例运行于哪个集群中。仅适用于Ververica Flink实时引擎，其他引擎实例展示为空。资源队列：该实时实例运行在哪个资源队列中。仅适用于Blink、Flink实时引擎，其他引擎实例展示为空。引擎版本：该实时实例运行的引擎版本。列表操作列为您展示实时实例支持的运维管理操作。实时实例支持的单个运维操作，请参见单个操作。
④批量操作	您可通过批量操作区域提供的启动、停止、下线运维功能，对实时实例进行批量处理，提高操作效率。实时实例支持的批量运维操作，请参见批量操作。

实时实例运行状态说明

状态标识	状态	说明
	已完成	对于有界流数据，已完成的实例。
	启动中	已启动实例的运行，但系统未开始运行。
	运行中	正在运行中的实例。
	停止中	已触发停止实例的操作，系统正在执行停止实例。
	停止	停止正在运行的实例。
	运行失败	运行失败的实例。
	启动失败	启动失败的实例。

管理实时实例

单个操作

操作项	描述
启动	单击目标实时实例操作列的图标，启动当前实时实例。具体操作，请参见启动实时实例。
停止	单击目标实时实例操作列的图标，停止当前运行中的实时实例。支持无状态停止和保留当前状态停止两种停止方式。无状态停止：不保留当前状态（Savepoint），下次启动作业时将不带状态启动。重要无状态停止会清空之前保存的Savepoint，但不清除Checkpoint。保留当前状态停止：保留当前状态（Savepoint），下次启动作业时可以选择从当前状态启动。说明 Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。实时集成实例仅支持无状态停止。单击停止后，停止实时增量任务并停止所有同步中的离线任务。实时工作流实例仅支持保留当前状态停止。
下线	单击目标实时实例操作列的图标，下线生产环境中的实时实例。系统支持下线停止、运行失败、启动失败的实时实例。
查看运行分析	单击目标实时实例操作列的图标，查看当前实时实例的运行信息、数据曲线、Failover等参数。计算引擎为Apache Flink。更多信息，请参见查看运行分析。若实时实例为Ververica Flink、Blink实时引擎。更多信息，请参见查看作业详情。
查看实时任务	单击目标实时实例操作列的图标，选择查看实时任务，进入生成当前实例的任务页面，查看实时任务详情。
查看实例代码	单击目标实时实例操作列的图标，选择查看实例代码，查看生成当前实例的任务代码。在Flink计算引擎下您可单击逻辑代码或物理代码进行切换查看。逻辑代码：编写的任务代码。物理代码：编译后生成的可在Flink引擎上运行的代码。
查看实例参数	单击目标实时实例操作列的图标，选择查看实例参数，查看实例运行时的参数。例如`metrics.reporter.promappmgr.port`等参数。说明实时工作流实例不支持查看实例参数。
查看同步对象	单击目标实时实例操作列的图标，选择查看同步对象，打开该实时实例详情的同步对象页签，同步对象详情包括增量同步和全量同步。增量同步：展示运行状态、开始运行时间、延时和最新读取位置信息。支持启动、停止、查看运行日志和查看节点代码操作。运行状态：原实时集成任务的运行状态，包含已完成、启动中、启动失败、运行中、运行失败、停止中和停止。当运行失败时，可查看错误原因；当实时任务被暂停，此时任务状态为运行中，但此处运行状态展示为运行中（暂停）。开始运行时间：实时增量同步的起始时间。延时：实时增量任务的延时。最新读取位置：读取到的时间位点。全量同步：展示总同步状态、同步进度、来源对象、目标对象、状态、同步时间、耗时、速度、数据量等信息。支持输入来源/目标对象名称进行搜索、根据对象同步状态进行筛选。总同步状态：全量同步所有来源对象的总体同步状态，包含未开始、同步中、同步完成和同步失败。未开始：所有来源对象同步状态均为未开始。未开始状态下，不展示同步进度。同步中：存在同步中的来源对象。同步完成：所有来源对象同步状态仅包含同步完成、已忽略和已停止。同步失败：存在同步失败的来源对象。同步进度：全量同步的整体进度，展示为`已完成数/总对象数`。来源对象、目标对象：展示为`schema.来源/目标表名`、`来源/目标数据源名`。状态：包含未开始、停止中、已停止、已忽略、同步中、同步失败和同步完成。未开始：未运行，等待增量任务暂停后开始同步。停止中：最后一次同步中的临时任务被手动停止，但未完成停止。已停止：最后一次同步中的临时任务被手动停止。已忽略：任务未开始或任务失败时单击忽略操作后，任务状态将展示为已忽略。同步中：最后一次临时任务正在运行中。同步失败：最后一次临时任务运行失败。同步完成：最后一次临时任务运行成功。同步时间：临时任务的启动/结束时间，展示为`开始时间～结束时间`，若未开始未结束则为-。耗时：临时任务运行总耗时。速度：同步速度，计算公式为`最后一次临时任务执行完成同步的总数据量/耗时`。数据量：最后一次临时任务执行完成同步的总数据量。操作：仅当增量同步的运行状态为运行中时，支持查看日志、运行、停止和忽略操作。查看日志：单击查看日志，打开最后一次临时任务的日志查看页面。运行、批量运行：仅当状态为已忽略、已停止、同步失败和同步完成时支持运行操作。同步对象全量同步时会清空对应目标表的数据，以及该任务的调度资源组，可调整调度资源组。停止、批量停止：仅同步中的同步对象支持停止操作，停止后不阻塞任务运行。忽略、批量忽略：仅未开始、同步失败的同步对象支持忽略操作，忽略后不阻塞任务运行。说明仅开发环境下，同步方案为实时增量+全量的实时集成实例支持此项。
刷新同步对象	单击目标实时实例操作列的图标，选择刷新同步对象，在刷新同步对象对话框中单击确定后，将按照新的同步范围进行运行。仅同步对象范围发生变更：新增同步对象：增量同步暂停（任务状态仍然是运行中），运行新增对象的临时全量任务，已运行成功的全量任务不再运行，所有新增的临时全量任务执行完毕后，继续运行增量同步。删除同步对象：移除同步对象，增量同步任务减少同步范围继续执行。除同步对象范围外还有其他变更（例如进行了任务配置调整、目标表调整等）：增量同步停止，若存在同步范围变更，先完成新增对象的同步，再重新启动增量同步任务。已存在的全量任务，用户可按需在同步对象页面根据对象进行手动处理。说明仅同步方案为实时增量+全量、来源端为非Oracle数据源、状态为运行中且同步内容发生变更的实时集成实例支持此项。

批量操作

操作项	描述
启动	说明不同实时引擎支持启动实例的状态各不相同。 Flink：停止。 Ververica Flink：停止、运行失败、运行成功。 Blink：停止、未启动。 FusionInsight Flink：停止、运行失败。启动实时集成实例：选择多个实时集成实例，或单击本页全选后，单击启动，选择启动实时集成实例。在批量启动实时集成实例对话框中，配置启动信息。启动n个实例：展示启动实例的个数及实例名称，多个实例间使用半角逗号（,）分隔。启动范围：选择增量+全量（仅增全量实时集成任务可用）或仅增量。全量同步：仅当启动范围选择增量+全量时，支持配置此模块参数。重跑方式：可选择从初始化或续跑。初始化：启动所有同步对象的全量同步临时任务，所有临时任务执行完成后，启动实时增量同步任务。续跑：启动所有未同步完成（不包含已同步完成、已停止、已忽略）的同步对象的全量同步临时任务，所有临时任务执行完成后，启动实时增量同步任务。内存（非必填）：不支持输入小数和负数，最大内存不超过8192MB（8GB）。限流（非必填）：按照数据量大小进行速度限制，不支持输入小数和负数，默认值为10M/s，若为空则不限流。并发（非必填）：用于设置全量任务期望最大的并发数，不支持输入小数和负数，默认值为10 ，若为空则并发数为3。说明仅Prod环境可配置调度资源组、内存、限流和并发。增量同步：仅当启动范围选择仅增量时，支持配置此模块参数。启动方式：仅支持无状态启动，即不带任何初始状态启动。读取数据时点：设置指定开始时间会让所有支持`startTime`的来源表（Log Service、Kafka、MySQL、MongoDB、OceanBase）均从该时刻开始读取数据。说明 SQL任务中的代码参数配置将优先于此指定的开始时间。单击确定，开始启动。启动实时研发实例、启动实时工作流实例：选择多个实时研发实例，或单击本页全选后，单击启动，选择启动实时研发实例/启动实时工作流实例。在批量启动实时研发实例/批量启动实时工作流实例对话框中，配置启动信息。启动n个实例：展示启动实例的个数及实例名称，多个实例间使用半角逗号（,）分隔。启动方式：支持无状态启动和从有效的状态启动。无状态启动：不带任何初始状态启动。从有效状态启动：从已存在的有效状态启动。说明若选中的实例中包含无状态的实例，则批量启动实例时仅支持选择无状态启动。读取数据时点：设置指定开始时间会让所有支持startTime的来源表（Log Service、Kafka、MySQL、MongoDB、OceanBase）均从该时刻开始读取数据。说明 SQL作业中的代码参数配置将优先于此指定的开始时间。业务日期：支持通过配置业务日期对时间变量赋值，时间类型的变量基于业务日期计算，默认为当天。说明 SQL作业中的代码参数配置将优先于此指定的开始时间。单击确定，开始启动。
停止	说明仅运行失败、运行中、启动失败、恢复失败和已完成状态的实例支持停止操作。停止实时集成实例：选择多个实时集成实例，或选中本页全选后，单击停止，选择停止实时集成实例。在批量停止实时集成实例对话框中，配置启动信息。停止n个实例：展示停止实例的个数及实例名称，多个实例间使用半角逗号（,）分隔。停止方式：当前仅支持无状态停止，即不保留当前状态，下次启动时不带状态启动。停止实时研发实例、停止实时工作流实例：选择多个实时研发实例，或选中本页全选后，单击停止，选择停止实时研发实例/停止实时工作流实例。在批量停止实时研发实例/批量停止实时工作流实例对话框中，配置启动信息。停止n个实例：展示停止实例的个数及实例名称，多个实例间使用半角逗号（,）分隔。停止方式：无状态停止：即不保留当前状态，下次启动时不带状态启动。保留当前状态停止：保留当前状态，下次启动时可以选择从当前状态启动。说明实时工作流实例仅支持保留当前状态停止。
下线	下线当前选中的生产环境中的实时实例。说明仅停止状态的实时实例支持下线。

实时实例DAG图

单击实时实例操作列表实例对象名称，页面右侧为您展示以当前节点为中心节点的DAG图，默认展开上下各一层的父子节点的DAG图。同时，您也可以调整DAG图页面范围：

单击图标，隐藏实时实例列表，放大DAG图。
单击图标，隐藏DAG图。
鼠标悬停至图标拖动，以扩大或缩小DAG图的页面范围。

DAG图支持可视化动态呈现该节点的上下游依赖关系，同时支持对上下游节点进行运维操作：

区块	说明
①节点信息栏	展示当前选中节点的概要信息。您还可以单击查看节点详情，查看更多节点信息。 Ververica Flink实时引擎：包括节点详情、同步对象（仅增量+全量实时集成任务生成的实时实例支持）、运行日志、操作日志、节点代码和任务参数（仅计算任务实例支持）。 Flink实时引擎：包括节点详情、同步对象（仅增量+全量实时集成任务生成的实时实例支持）、运行分析、日志、操作日志、节点代码和任务参数（仅计算任务实例支持）。节点详情：包含当前节点的基本信息和运行信息，基本信息包含节点名称、ID、实例ID、所属项目等信息，运行信息包含运行状态、运行时间等信息。同步对象：包含来源对象和目标对象，分别展示全量同步和增量同步的状态等信息。当增量同步任务状态为运行中时，可手动运行、停止和忽略全量同步。运行时还需配置调度资源组、内存、限流、并发和切分键（仅运行单个同步对象时支持）。调度资源组：全量同步任务使用的调度资源，默认为项目默认资源组。内存：通道配置，不支持输入小数和负数，最大内存不超过16384MB（16GB），默认值为4096MB，若为空则默认为1024MB。限流：按照数据量大小进行速度限制，不支持输入小数和负数，默认值为10M/s，若为空则不限流。并发：通道配置，用于设置全量任务期望最大的并发数，不支持输入小数和负数，默认值为10 ，若为空则并发数为3。切分键：根据配置的字段进行数据分片，与并发配合使用，以实现并发读取。默认为空，为空时系统将自动识别字段。您可以将源数据表中某一列作为切分键，该字段须为整型数字或日期时间类型，否则可能会导致切分不准确。此外，建议使用主键或有索引的列作为切分键以保证传输性能。运行日志：展示当前节点的运行日志，若运行失败产生脏数据时，可下载脏数据文件。操作日志：展示当前节点的操作日志，包含操作时间、操作任和具体操作。运行分析：使用数据大盘展示选定时间内各类运行数据（例如失败次数、反压数据等）。日志：分别展示启动日志、运行日志和异常信息。节点代码：展示当前节点的具体代码信息。任务参数：展示当前节点的任务参数。实时工作流：包含节点详情、运行分析、日志、操作日志和节点代码。运行分析：展示Overview（概览）和Operator（算子执行）。详情请参见查看运行分析。日志：分别展示启动日志和运行日志。启动日志：记录实时工作流的日志。运行日志：当前仅支持Info级别的日志。您可单击日志下载，下载运行日志.txt文件至本地。说明运行日志最多保留7天，若7天内无新内容，则自动删除。 Listener日志包含： Kafka消费位点推进：`start`/`end`/`uncommit set`变化。消息消费详情：topic、partition、offset。 Checkpoint持久化快照记录。超时重消费事件。
②节点搜索及筛选区	快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时，您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。
③调度依赖关系图	展示实例的调度依赖关系图，支持向上向下展开更多节点，同时支持对上下游节点的运维操作。鼠标悬停至DAG节点上，可以查看该节点的名称、类型、调度周期、运维负责人及其描述信息。
④画布调整区	快捷调整DAG显示比例，包括设定显示比例（默认为100%）、在当前比例基础上放大（最大200%）、在当前比例基础上缩小（最小20%）、适应画布和全屏展示。同时，展示当前DAG图中Main节点的节点ID和节点名称。

实时实例DAG节点支持的操作

操作项	描述
展开父节点	展开DAG图中Main节点不同层级的依赖节点。
展开子节点	展开DAG图中Main节点不同层级的依赖节点。
查看实时任务	进入生成当前实例节点的任务节点DAG图，查看任务节点详情、上下游节点信息及对任务节点进行运维管理等，更多信息，请参见查看并管理实时任务。
查看节点代码	查看生成当前实例的任务代码。在Flink计算引擎下您可单击逻辑代码或物理代码进行切换查看。逻辑代码：编写的任务代码。物理代码：编译后生成的可在Flink引擎上运行的代码。
查看运行日志	可查看实例节点的运行日志。同时，若任务存在脏数据时，您可以单击下载脏数据文件，将脏数据下载至本地进行查看，包括脏数据产生时间、报错内容、报错原因。文件默认保留7天。在Flink计算引擎下支持分别看运行日志的启动日志、运行日志、异常信息，帮助您进行错误定位和排查。启动日志：Dataphin客户端把Flink作业提交到Yarn的过程中的日志信息。运行日志：Flink作业的Job Manager、Task Manager运行过程中的日志信息。支持切换查看Job Manager与Task Managers的日志，并选择需要查看的日志文件。 Job Manager：支持选择需要查看的日志文件，查看对应的日志内容。 Task Managers：需先选择Task Manager，再选择需要查看的日志文件。支持选择运行中的Task Manager，也支持选择已停止的Task Managers，查看已停止的Task Manager的日志文件。说明 Task Manager相关内容（包括切换查看Task Managers的日志、查看已停止的Task Managers的日志）仅适用于Flink on K8s部署模式。日志的存储时间默认为7个自然日。日志输出级别包含Warning和Error级别的日志信息。任务运行失败时不产生日志，需手动停止任务触发日志归档后，才支持查看日志文件。若外部集群网络不通，则无法获取运行中Task Manager的日志文件，仅支持查看归档后的日志文件。在Flink on K8s部署模式下，如需通过日志控制参数处理日志上传超时、日志收集等待或日志上传文件范围等异常场景，请参见附录：日志控制参数。异常信息：任务运行中产生的exception错误信息。包括异常发生的时间、异常的名称、发生异常的Task、TaskManager节点的主机名或IP地址。单击查看图标可查看异常历史信息的详情。
查看任务参数	查看当前实例节点的任务参数。例如，`execution.checkpointing.interval`等任务参数信息。说明实时工作流实例不支持查看任务参数。
编辑开发节点	进入Dev项目下生成当前实例节点的任务编辑页面，编辑该任务。仅适用于Dev-Prod开发模式。
编辑节点	进入生成当前实例节点的任务编辑页面，编辑该任务。仅适用于Basic模式。
查看生成节点	查看Prod项目中生成当前实例节点的任务配置。
查看操作日志	查看当前实例的操作日志。包括操作时间，操作人、操作内容。
查看运行分析	查看当前实时实例的运行信息、数据曲线、Failover等参数。若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息，请参见查看作业详情。若实时实例为Flink实时引擎。更多信息，请参见查看运行分析。
查看同步对象	在当前实时实例详情的同步对象页签中，查看同步对象详情，包括增量同步和全量同步。各字段详情同管理实时实例-单个操作中的查看同步对象。说明仅增量+全量实时集成任务生成的实时实例支持此操作。
刷新同步对象	单击刷新同步对象，在刷新同步对象对话框中单击确定后，将按照新的同步范围运行当前实时实例。各字段详情同管理实时实例-单个操作中的刷新同步对象。说明仅同步方案为实时增量+全量、来源端为非Oracle数据源、状态为运行中且同步内容发生变更的实时集成实例支持此项。
启动	启动当前实时实例。具体操作，请参见启动实时实例。
停止	停止当前运行中、已完成（仅支持无状态停止）的实时实例。包括无状态停止和保留当前状态停止两种停止方式。无状态停止：不保留当前状态（Savepoint），下次启动作业时将不带状态启动。保留当前状态停止：保留当前状态（Savepoint），下次启动作业时可以选择从当前状态启动。说明 Blink实时计算引擎不支持选择无状态停止和保留当前状态停止。
下线	下线生产环境中的实时实例。系统支持下线已停止的实时实例。

附录：日志控制参数

以下参数仅适用于Flink on K8s部署模式，用于处理任务停止或启动失败后的日志归档、上传和展示相关问题。

参数	含义	场景
`dataphin.dev.k8s.TerminationGracePeriodSeconds`	K8s Pod退出等待时间，默认60秒。	如果60秒后仍不能完成日志上传，可以调大该参数。
`dataphin.dev.k8s.sidecar.env.LOG_ARCHIVE_DELAY_S`	日志收集前等待时间，默认5秒。	如果TaskManager或JobManager进程退出时间较长，可以调大该参数，等待日志全部落盘。
`dataphin.dev.k8s.sidecar.env.JVM_MAX_HEAP_MB`	日志收集的JVM XMX参数，默认128 MB。	如果日志收集出现OOM，可以调大该参数。
`dataphin.dev.k8s.sidecar.env.LOG_FILE_PATTERN`	指定日志上传的文件名Pattern，默认值为空，表示全部上传；匹配规则为字符串包含。	如果日志文件较多或较大，可以配置该参数选择需要上传的日志文件。
`dataphin.dev.k8s.sidecar.env.GRINGOTTS_SO_TIMEOUT_MS`	上传接口的超时时间，默认30秒。	一般无需调整。
`dataphin.dev.k8s.sidecar.env.MAX_LOG_BUFFER_MB`	日志内存Buffer大小，默认5 MB。	如果上传日志出现OOM，可以调小该参数。
`dataphin.dev.k8s.sidecar.env.LOG_UPLOAD_RETRY_TIMES`	上传接口超时后的重试次数，加上第一次调用的总调用次数默认为2次。	按需配置。

上一篇：实时实例运维下一篇：启动实时实例

该文章对您有帮助吗？