管理实时实例

实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据,同时支持对实时实例进行运维管理,包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。

实时实例页面入口

  1. Dataphin首页的顶部菜单栏中,选择研发 > 任务运维

  2. 在顶部菜单栏选择生产或开发环境。

  3. 在左侧导航栏中选择实例运维 > 实时实例,打开实时实例页面。

实时实例页面介绍

实时实例页面以列表方式,为您展示系统已生成的实时实例。实时实例页面主要由搜索及筛选区、实时实例列表、批量操作区组成您可以在实时实例页面进行相关的运维操作。

image

区块

说明

筛选及搜索区

支持输入实例对象名称或ID来搜索实时实例,适用于知道实时对象名称或ID时进行快捷搜索。

  • 我的停止实例:调度负责人为当前登录账号,且已停止运行的实例。

  • 我今日操作的实例:调度负责人为当前登录账号,且当日已操作过的实例。

  • 展开筛选:单击筛选,可展开所有筛选项,筛选项包括:

    • 细分类型:包括FLINK_SQL、FLINK_TEMPLATE_SQL、FLINK_DATASTREAM和实时集成

    • 运行状态:可选择多个实例的运行状态进行筛选,包括已完成、启动中、启动失败、运行中、运行失败、停止中和停止。

    • 最近操作人:根据实例的最近操作人进行筛选。

    • 负责人:根据实例的运维负责人进行筛选。

    • 引擎类型:根据引擎类型进行筛选,包含Ververica Flink、Blink、FlinkFusionInsight Flink

    • 集群:Ververica Flink实时计算引擎的集群ID。

    • 引擎版本:实例使用的引擎版本。

    • 操作日期:操作该实例的时间。

    • 项目:根据任务所在项目进行筛选,可选择多个当前登录用户拥有运维-访问目录权限的项目。

  • 重置:打开所有筛选项后,可单击重置,快速清除已选筛选条件。

  • 查看实例统计:单击后跳转至实例统计页面查看详情,详情请参考查看实例统计

  • 导出实例列表:单击后导出筛选/搜索后的实例,导出表格格式为.csv。

  • 刷新:单击刷新图标,刷新当前实时任务列表。

实时实例列表

实时实例页面以列表形式为您展示系统已生成的实时实例。实时实例列表中包含实例对象、运行状态、最近操作人、最近更新时间、负责人、项目等信息。

  • 实例对象:实时任务提交发布运维中心后即生成一个实时实例对象,初始运行状态为停止,您可以手动启动。

  • 运行状态:该实例目前的运行状态包括:启动中、运行中、停止中、停止、运行失败、启动失败。更多信息,请参见实时实例运行状态说明

  • 消费延时(s):任务的延迟,即数据源消费的延迟。

  • 最近操作人:运行该实例时消耗的资源。

  • 最近更新时间:最近操作该实例的账号。

  • 负责人:实例的运维负责人。

  • 项目:实例所属的项目,展示格式为项目英文名(项目中文名)

  • 引擎类型:当前实时实例所使用的引擎类型。

  • 集群:该实时实例运行于哪个集群中。仅适用于Ververica Flink实时引擎,其他引擎实例展示为空。

  • 资源队列:该实时实例运行在哪个资源队列中。仅适用于Blink、Flink实时引擎,其他引擎实例展示为空。

  • 引擎版本:该实时实例运行的引擎版本。

列表操作列为您展示实时实例支持的运维管理操作。实时实例支持的单个运维操作,请参见单个操作

批量操作

您可通过批量操作区域提供的启动、停止、下线运维功能,对实时实例进行批量处理,提高操作效率。

实时实例支持的批量运维操作,请参见批量操作

实时实例运行状态说明

状态标识

状态

说明

image.png

已完成

对于有界流数据,已完成的实例。

image

启动中

已启动实例的运行,但系统未开始运行。

image

运行中

正在运行中的实例。

image

停止中

已触发停止实例的操作,系统正在执行停止实例。

image

停止

停止正在运行的实例。

image

运行失败

运行失败的实例。

image

启动失败

启动失败的实例。

管理实时实例

单个操作

操作项

描述

启动

单击目标实时实例操作列的image图标,启动当前实时实例。具体操作,请参见启动实时实例

停止

单击目标实时实例操作列的image图标,停止当前运行中的实时实例。支持无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

    重要

    无状态停止会清空之前保存的Savepoint,但不清除Checkpoint。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明
  • Blink实时计算引擎不支持选择无状态停止保留当前状态停止

  • 实时集成实例仅支持无状态停止。单击停止后,停止实时增量任务并停止所有同步中的离线任务。

下线

单击目标实时实例操作列的image图标,下线生产环境中的实时实例。系统支持下线停止运行失败、启动失败的实时实例。

查看运行分析

单击目标实时实例操作列的image图标,查看当前实时实例的运行信息、数据曲线、Failover等参数。

计算引擎为Apache Flink。更多信息,请参见查看运行分析

若实时实例为Ververica Flink、Blink实时引擎。更多信息,请参见查看作业详情

查看实时任务

单击目标实时实例操作列的image图标,选择查看实时任务,进入生成当前实例的任务页面,查看实时任务详情。

查看实例代码

单击目标实时实例操作列的image图标,选择查看实例代码,查看生成当前实例的任务代码。

Flink计算引擎下您可单击逻辑代码物理代码进行切换查看。

  • 逻辑代码:编写的任务代码。

  • 物理代码:编译后生成的可在Flink引擎上运行的代码。

    image

查看实例参数

单击目标实时实例操作列的image图标,选择查看实例参数,查看实例运行时的参数。例如metrics.reporter.promappmgr.port等参数。

查看同步对象

单击目标实时实例操作列的image图标,选择查看同步对象,打开该实时实例详情的同步对象页签,同步对象详情包括增量同步全量同步

  • 增量同步:展示运行状态、开始运行时间、延时和最新读取位置信息。支持启动、停止、查看运行日志和查看节点代码操作。

    • 运行状态:原实时集成任务的运行状态,包含已完成、启动中、启动失败、运行中、运行失败、停止中和停止。当运行失败时,可查看错误原因;当实时任务被暂停,此时任务状态为运行中,但此处运行状态展示为运行中(暂停)。

    • 开始运行时间:实时增量同步的起始时间。

    • 延时:实时增量任务的延时。

    • 最新读取位置:读取到的时间位点。

  • 全量同步:展示总同步状态、同步进度、来源对象、目标对象、状态、同步时间、耗时、速度、数据量等信息。支持输入来源/目标对象名称进行搜索、根据对象同步状态进行筛选。

    • 总同步状态:全量同步所有来源对象的总体同步状态,包含未开始、同步中、同步完成和同步失败。

      • 未开始:所有来源对象同步状态均为未开始。未开始状态下,不展示同步进度。

      • 同步中:存在同步中的来源对象。

      • 同步完成:所有来源对象同步状态仅包含同步完成、已忽略和已停止。

      • 同步失败:存在同步失败的来源对象。

    • 同步进度:全量同步的整体进度,展示为已完成数/总对象数

    • 来源对象目标对象:展示为schema.来源/目标表名来源/目标数据源名

    • 状态:包含未开始、停止中、已停止、已忽略、同步中、同步失败和同步完成。

      • 未开始:未运行,等待增量任务暂停后开始同步。

      • 停止中:最后一次同步中的临时任务被手动停止,但未完成停止。

      • 已停止:最后一次同步中的临时任务被手动停止。

      • 已忽略:任务未开始或任务失败时单击忽略操作后,任务状态将展示为已忽略。

      • 同步中:最后一次临时任务正在运行中。

      • 同步失败:最后一次临时任务运行失败。

      • 同步完成:最后一次临时任务运行成功。

    • 同步时间:临时任务的启动/结束时间,展示为开始时间~结束时间,若未开始未结束则为-

    • 耗时:临时任务运行总耗时。

    • 速度:同步速度,计算公式为最后一次临时任务执行完成同步的总数据量/耗时

    • 数据量:最后一次临时任务执行完成同步的总数据量。

    • 操作:仅当增量同步的运行状态为运行中时,支持查看日志、运行、停止和忽略操作。

      • 查看日志:单击查看日志,打开最后一次临时任务的日志查看页面。

      • 运行批量运行:仅当状态为已忽略、已停止、同步失败和同步完成时支持运行操作。同步对象全量同步时会清空对应目标表的数据,以及该任务的调度资源组,可调整调度资源组。

      • 停止批量停止:仅同步中的同步对象支持停止操作,停止后不阻塞任务运行。

      • 忽略批量忽略:仅未开始、同步失败的同步对象支持忽略操作,忽略后不阻塞任务运行。

说明

仅开发环境下,同步方案为实时增量+全量实时集成实例支持此项。

刷新同步对象

单击目标实时实例操作列的image图标,选择刷新同步对象,在刷新同步对象对话框中单击确定后,将按照新的同步范围进行运行。

  • 仅同步对象范围发生变更

    • 新增同步对象:增量同步暂停(任务状态仍然是运行中),运行新增对象的临时全量任务,已运行成功的全量任务不再运行,所有新增的临时全量任务执行完毕后,继续运行增量同步。

    • 删除同步对象:移除同步对象,增量同步任务减少同步范围继续执行。

  • 除同步对象范围外还有其他变更(例如进行了任务配置调整、目标表调整等):增量同步停止,若存在同步范围变更,先完成新增对象的同步,再重新启动增量同步任务。已存在的全量任务,用户可按需在同步对象页面根据对象进行手动处理。

说明

仅同步方案为实时增量+全量、状态为运行中同步内容发生变更实时集成实例支持此项。

批量操作

操作项

描述

启动

说明

不同实时引擎支持启动实例的状态各不相同。

  • Flink:停止。

  • Ververica Flink:停止、运行失败、运行成功。

  • Blink:停止、未启动。

  • FusionInsight Flink:停止、运行失败。

启动实时集成实例

  1. 选择多个实时集成实例,或单击本页全选后,单击启动,选择启动实时集成实例

  2. 批量启动实时集成实例对话框中,配置启动信息。

    • 启动n个实例:展示启动实例的个数及实例名称,多个实例间使用半角逗号(,)分隔。

    • 启动范围:选择增量+全量(仅增全量实时集成任务可用)或仅增量

    • 全量同步:仅当启动范围选择增量+全量时,支持配置此模块参数。

      • 重跑方式:可选择从初始化续跑

        • 初始化:启动所有同步对象的全量同步临时任务,所有临时任务执行完成后,启动实时增量同步任务。

        • 续跑:启动所有未同步完成(不包含已同步完成、已停止、已忽略)的同步对象的全量同步临时任务,所有临时任务执行完成后,启动实时增量同步任务。

      • 内存(非必填):不支持输入小数和负数,最大内存不超过8192MB(8GB)。

      • 限流(非必填):按照数据量大小进行速度限制,不支持输入小数和负数,默认值为10M/s,若为空不限流

      • 并发(非必填):用于设置全量任务期望最大的并发数,不支持输入小数和负数,默认值为10 ,若为空则并发数为3

      说明

      Prod环境可配置调度资源组、内存、限流和并发。

    • 增量同步:仅当启动范围选择仅增量时,支持配置此模块参数。

      • 启动方式:仅支持无状态启动,即不带任何初始状态启动。

      • 读取数据时点:设置指定开始时间会让所有支持startTime的来源表(Log Service、Kafka、MySQL、MongoDB、OceanBase)均从该时刻开始读取数据。

        说明

        SQL任务中的代码参数配置将优先于此指定的开始时间。

  3. 单击确定,开始启动。

启动实时研发实例

  1. 选择多个实时研发实例,或单击本页全选后,单击启动,选择启动实时研发实例

  2. 批量启动实时研发实例对话框中,配置启动信息。

    • 启动n个实例:展示启动实例的个数及实例名称,多个实例间使用半角逗号(,)分隔。

    • 启动方式:支持无状态启动和从有效的状态启动。

      • 无状态启动:不带任何初始状态启动。

      • 从有效状态启动:从已存在有效状态启动。

        说明

        若选中的实例中包含无状态的实例,则批量启动实例时仅支持选择无状态启动。

    • 读取数据时点:设置指定开始时间会让所有支持startTime的来源表(Log Service、Kafka、MySQL、MongoDB、OceanBase)均从该时刻开始读取数据。

      说明

      SQL作业中的代码参数配置将优先于此指定的开始时间。

    • 业务日期:支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算,默认为当天。

      说明

      SQL作业中的代码参数配置将优先于此指定的开始时间。

  3. 单击确定,开始启动。

停止

说明

仅运行失败、运行中、启动失败、恢复失败和已完成状态的实例支持停止操作。

停止实时集成实例

  1. 选择多个实时集成实例,或选中本页全选后,单击停止,选择停止实时集成实例

  2. 批量停止实时集成实例对话框中,配置启动信息。

    • 停止n个实例:展示停止实例的个数及实例名称,多个实例间使用半角逗号(,)分隔。

    • 停止方式:当前仅支持无状态停止,即不保留当前状态,下次启动时不带状态启动。

停止实时研发实例

  1. 选择多个实时研发实例,或选中本页全选后,单击停止,选择停止实时研发实例

  2. 批量停止实时研发实例对话框中,配置启动信息。

    • 停止n个实例:展示停止实例的个数及实例名称,多个实例间使用半角逗号(,)分隔。

    • 停止方式

      • 无状态停止:即不保留当前状态,下次启动时不带状态启动。

      • 保留当前状态停止:保留当前状态,下次启动时可以选择从当前状态启动。

下线

下线当前选中的生产环境中的实时实例。

说明

停止状态的实时实例支持下线。

实时实例DAG

单击实时实例操作列表实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:

  • 单击tegtwe图标,隐藏实时实例列表,放大DAG图。

  • 单击geg图标,隐藏DAG图。

  • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:

image

区块

说明

节点信息栏

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。

Ververica Flink实时引擎:包括节点详情、同步对象(仅增量+全量实时集成任务生成的实时实例支持)、运行日志、操作日志、节点代码和任务参数(仅计算任务实例支持)。

Flink实时引擎:包括节点详情、同步对象(仅增量+全量实时集成任务生成的实时实例支持)、运行分析、日志、操作日志、节点代码和任务参数(仅计算任务实例支持)。

  • 节点详情:包含当前节点的基本信息和运行信息,基本信息包含节点名称、ID、实例ID、所属项目等信息,运行信息包含运行状态、运行时间等信息。

  • 同步对象:包含来源对象和目标对象,分别展示全量同步和增量同步的状态等信息。当增量同步任务状态为运行中时,可手动运行停止忽略全量同步。

    运行时还需配置调度资源组、内存、限流、并发和切分键(仅运行单个同步对象时支持)。

    • 调度资源组:全量同步任务使用的调度资源,默认为项目默认资源组。

    • 内存:通道配置,不支持输入小数和负数,最大内存不超过16384MB(16GB),默认值为4096MB,若为空则默认为1024MB

    • 限流:按照数据量大小进行速度限制,不支持输入小数和负数,默认值为10M/s,若为空不限流

    • 并发:通道配置,用于设置全量任务期望最大的并发数,不支持输入小数和负数,默认值为10 ,若为空则并发数为3

    • 切分键:根据配置的字段进行数据分片,与并发配合使用,以实现并发读取。默认为空,为空时系统将自动识别字段。您可以将源数据表中某一列作为切分键,该字段须为整型数字或日期时间类型,否则可能会导致切分不准确。此外,建议使用主键或有索引的列作为切分键以保证传输性能。

  • 运行日志:展示当前节点的运行日志,若运行失败产生脏数据时,可下载脏数据文件。

  • 操作日志:展示当前节点的操作日志,包含操作时间、操作任和具体操作。

  • 运行分析:使用数据大盘展示选定时间内各类运行数据(例如失败次数、反压数据等)。

  • 日志:分别展示启动日志、运行日志和异常信息。

  • 节点代码:展示当前节点的具体代码信息。

  • 任务参数:展示当前节点的任务参数。

节点搜索及筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。

实时实例DAG节点支持的操作

操作项

描述

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看实时任务

进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,更多信息,请参见查看并管理实时任务

查看节点代码

查看生成当前实例的任务代码。

Flink计算引擎下您可单击逻辑代码物理代码进行切换查看。

逻辑代码:编写的任务代码。

物理代码:编译后生成的可在Flink引擎上运行的代码。

image..png

查看运行日志

可查看实例节点的运行日志。同时,若任务存在脏数据时,您可以单击下载脏数据文件,将脏数据下载至本地进行查看,包括脏数据产生时间报错内容报错原因。文件默认保留7

Flink计算引擎下支持分别看运行日志的启动日志、运行日志、异常信息,帮助您进行错误定位和排查。

  • 启动日志:Dataphin客户端把Flink作业提交到Yarn的过程中的日志信息。

  • 运行日志:Flink作业的Job Manager、TaskManager运行过程中的日志信息。

    说明
    • 日志的存储时间默认为7个自然日。

    • 日志输出级别包含WarningError级别的日志信息。

  • 异常信息:任务运行中产生的exception错误信息。包括异常发生的时间、异常的名称、发生异常的Task、TaskManager节点的主机名或IP地址。单击image..png查看图标可查看异常历史信息的详情。

查看任务参数

查看当前实例节点的任务参数。例如,execution.checkpointing.interval等任务参数信息。

编辑开发节点

进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Basic模式。

查看生成节点

查看Prod项目中生成当前实例节点的任务配置。

查看操作日志

查看当前实例的操作日志。包括操作时间操作人操作内容。

查看运行分析

查看当前实时实例的运行信息、数据曲线、Failover等参数。

若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息,请参见查看作业详情

若实时实例为Flink实时引擎。更多信息,请参见查看运行分析

查看同步对象

在当前实时实例详情的同步对象页签中,查看同步对象详情,包括增量同步全量同步。各字段详情同管理实时实例-单个操作中的查看同步对象。

说明

仅增量+全量实时集成任务生成的实时实例支持此操作。

刷新同步对象

单击刷新同步对象,在刷新同步对象对话框中单击确定后,将按照新的同步范围运行当前实时实例。各字段详情同管理实时实例-单个操作中的刷新同步对象。

说明

仅增量+全量实时集成任务生成的实时实例支持此操作。

启动

启动当前实时实例。具体操作,请参见启动实时实例

停止

停止当前运行中、已完成(仅支持无状态停止)的实时实例。包括无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线生产环境中的实时实例。系统支持下线已停止的实时实例。