管理实时实例

实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据,同时支持对实时实例进行运维管理,包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。

实时实例页面入口

  1. Dataphin首页的顶部菜单栏中,选择研发 > 任务运维

  2. 在顶部菜单栏选择生产或开发环境。

  3. 在左侧导航栏中选择实例运维 > 实时实例,打开实时实例页面。

实时实例页面介绍

实时实例页面以列表方式,为您展示系统已生成的实时实例。实时实例页面主要由搜索及筛选区、实时实例列表、批量操作区组成您可以在实时实例页面进行相关的运维操作。

image

区块

说明

筛选及搜索区

支持输入实例对象名称或ID来搜索实时实例,适用于知道实时对象名称或ID时进行快捷搜索。

  • 我的停止实例:调度负责人为当前登录账号,且已停止运行的实例。

  • 我今日操作的实例:调度负责人为当前登录账号,且当日已操作过的实例。

  • 展开筛选:单击筛选,可展开所有筛选项,筛选项包括:

    • 细分类型:包括FLINK_SQL、FLINK_TEMPLATE_SQL、FLINK_DATASTREAM。

    • 运行状态:可选择多个实例的运行状态进行筛选,包括已完成、启动中、启动失败、运行中、运行失败、停止中和停止。

    • 最近操作人:根据实例的最近操作人进行筛选。

    • 负责人:根据实例的运维负责人进行筛选。

    • 引擎类型:根据引擎类型进行筛选,包含Ververica Flink、Blink。

    • 集群:Ververica Flink实时计算引擎的集群ID。

    • 引擎版本:实例使用的引擎版本。

    • 操作日期:操作该实例的时间。

    • 项目:根据任务所在项目进行筛选,可选择多个当前登录用户拥有运维-访问目录权限的项目。

  • 重置:打开所有筛选项后,可单击重置,快速清除已选筛选条件。

  • 查看实例统计:单击后跳转至实例统计页面查看详情,详情请参考查看实例统计

  • 导出实例列表:单击后导出筛选/搜索后的实例,导出表格格式为.csv。

  • 刷新:单击刷新图标,刷新当前实时任务列表。

实时实例列表

实时实例页面以列表形式为您展示系统已生成的实时实例。实时实例列表中包含实例对象、运行状态、最近操作人、最近更新时间、负责人、项目等信息。

  • 实例对象:实时任务提交发布运维中心后即生成一个实时实例对象,初始运行状态为停止,您可以手动启动。

  • 运行状态:该实例目前的运行状态包括:启动中、运行中、停止中、停止、运行失败、启动失败。更多信息,请参见。

  • 消费延时(s):任务的延迟,即数据源消费的延迟。

  • 最近操作人:运行该实例时消耗的资源。

  • 最近更新时间:最近操作该实例的账号。

  • 负责人:实例的运维负责人。

  • 项目:实例所属的项目,展示格式为项目英文名(项目中文名)

  • 引擎类型:当前实时实例所使用的引擎类型。

  • 集群:该实时实例运行于哪个集群中。仅适用于Ververica Flink实时引擎,其他引擎实例展示为空。

  • 资源队列:该实时实例运行在哪个资源队列中。仅适用于Blink实时引擎,其他引擎实例展示为空。

  • 引擎版本:该实时实例运行的引擎版本。

列表操作列为您展示实时实例支持的运维管理操作。实时实例支持的单个运维操作,请参见单个操作

批量操作

您可通过批量操作区域提供的启动、停止、下线运维功能,对实时实例进行批量处理,提高操作效率。

实时实例支持的批量运维操作,请参见批量操作

实时实例运行状态说明

状态标识

状态

说明

image.png

已完成

对于有界流数据,已完成的实例。

image

启动中

已启动实例的运行,但系统未开始运行。

image

运行中

正在运行中的实例。

image

停止中

已触发停止实例的操作,系统正在执行停止实例。

image

停止

停止正在运行的实例。

image

运行失败

运行失败的实例。

image

启动失败

启动失败的实例。

管理实时实例

单个操作

操作项

描述

启动

单击目标实时实例操作列的image图标,启动当前实时实例。具体操作,请参见启动实时实例

停止

单击目标实时实例操作列的image图标,停止当前运行中的实时实例。支持无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

    重要

    无状态停止会清空之前保存的Savepoint,但不清除Checkpoint。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明
  • Blink实时计算引擎不支持选择无状态停止保留当前状态停止

  • 实时集成实例仅支持无状态停止。单击停止后,停止实时增量任务并停止所有同步中的离线任务。

下线

单击目标实时实例操作列的image图标,下线生产环境中的实时实例。系统支持下线停止运行失败、启动失败的实时实例。

查看运行分析

单击目标实时实例操作列的image图标,查看当前实时实例的运行信息、数据曲线、Failover等参数。

若实时实例为Ververica Flink、Blink实时引擎。更多信息,请参见查看作业详情

查看实时任务

单击目标实时实例操作列的image图标,选择查看实时任务,进入生成当前实例的任务页面,查看实时任务详情。

查看实例代码

单击目标实时实例操作列的image图标,选择查看实例代码,查看生成当前实例的任务代码。

查看实例参数

单击目标实时实例操作列的image图标,选择查看实例参数,查看实例运行时的参数。例如metrics.reporter.promappmgr.port等参数。

批量操作

操作项

描述

启动

说明

不同实时引擎支持启动实例的状态各不相同。

  • Ververica Flink:停止、运行失败、运行成功。

  • Blink:停止、未启动。

启动实时研发实例

  1. 选择多个实时研发实例,或单击本页全选后,单击启动,选择启动实时研发实例

  2. 批量启动实时研发实例对话框中,配置启动信息。

    • 启动n个实例:展示启动实例的个数及实例名称,多个实例间使用半角逗号(,)分隔。

    • 启动方式:支持无状态启动和从有效的状态启动。

      • 无状态启动:不带任何初始状态启动。

      • 从有效状态启动:从已存在有效状态启动。

        说明

        若选中的实例中包含无状态的实例,则批量启动实例时仅支持选择无状态启动。

    • 读取数据时点:设置指定开始时间会让所有支持startTime的来源表(Log Service、Kafka、MySQL、MongoDB、OceanBase)均从该时刻开始读取数据。

      说明

      SQL作业中的代码参数配置将优先于此指定的开始时间。

    • 业务日期:支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算,默认为当天。

      说明

      SQL作业中的代码参数配置将优先于此指定的开始时间。

  3. 单击确定,开始启动。

停止

说明

仅运行失败、运行中、启动失败、恢复失败和已完成状态的实例支持停止操作。

停止实时研发实例

  1. 选择多个实时研发实例,或选中本页全选后,单击停止,选择停止实时研发实例

  2. 批量停止实时研发实例对话框中,配置启动信息。

    • 停止n个实例:展示停止实例的个数及实例名称,多个实例间使用半角逗号(,)分隔。

    • 停止方式

      • 无状态停止:即不保留当前状态,下次启动时不带状态启动。

      • 保留当前状态停止:保留当前状态,下次启动时可以选择从当前状态启动。

下线

下线当前选中的生产环境中的实时实例。

说明

停止状态的实时实例支持下线。

实时实例DAG

单击实时实例操作列表实例对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:

  • 单击tegtwe图标,隐藏实时实例列表,放大DAG图。

  • 单击geg图标,隐藏DAG图。

  • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:

image

区块

说明

节点信息栏

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。

Ververica Flink实时引擎:包括节点详情、运行日志、操作日志、节点代码和任务参数(仅计算任务实例支持)。

  • 节点详情:包含当前节点的基本信息和运行信息,基本信息包含节点名称、ID、实例ID、所属项目等信息,运行信息包含运行状态、运行时间等信息。

  • 运行日志:展示当前节点的运行日志,若运行失败产生脏数据时,可下载脏数据文件。

  • 操作日志:展示当前节点的操作日志,包含操作时间、操作任和具体操作。

  • 运行分析:使用数据大盘展示选定时间内各类运行数据(例如失败次数、反压数据等)。

  • 日志:分别展示启动日志、运行日志和异常信息。

  • 节点代码:展示当前节点的具体代码信息。

  • 任务参数:展示当前节点的任务参数。

节点搜索及筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。

实时实例DAG节点支持的操作

操作项

描述

展开父节点

展开DAG图中Main节点不同层级的依赖节点。

展开子节点

查看实时任务

进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等,更多信息,请参见管理实时任务

查看节点代码

查看生成当前实例的任务代码。

查看运行日志

可查看实例节点的运行日志。同时,若任务存在脏数据时,您可以单击下载脏数据文件,将脏数据下载至本地进行查看,包括脏数据产生时间报错内容报错原因。文件默认保留7

查看任务参数

查看当前实例节点的任务参数。例如,execution.checkpointing.interval等任务参数信息。

编辑开发节点

进入Dev项目下生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入生成当前实例节点的任务编辑页面,编辑该任务。仅适用于Basic模式。

查看生成节点

查看Prod项目中生成当前实例节点的任务配置。

查看操作日志

查看当前实例的操作日志。包括操作时间操作人操作内容。

查看运行分析

查看当前实时实例的运行信息、数据曲线、Failover等参数。

若实时实例为Ververica Flink、Alibaba Blink实时引擎。更多信息,请参见查看作业详情

启动

启动当前实时实例。具体操作,请参见启动实时实例

停止

停止当前运行中、已完成(仅支持无状态停止)的实时实例。包括无状态停止保留当前状态停止两种停止方式。

  • 无状态停止:不保留当前状态(Savepoint),下次启动作业时将不带状态启动。

  • 保留当前状态停止:保留当前状态(Savepoint),下次启动作业时可以选择从当前状态启动。

说明

Blink实时计算引擎不支持选择无状态停止保留当前状态停止

下线

下线生产环境中的实时实例。系统支持下线已停止的实时实例。