查看并管理实时任务

更新时间:2025-04-15 06:13:14

实时任务是指在Dataphin创建的FLINK_SQL、FLINK_TEMPLATE_SQLFLINK_DATASTREAM类型的计算任务。在Dataphin的实时任务页面为您展示了任务实例的基本信息及运维管理选项,方便您查看实例任务并进行管理。本文为您介绍实时任务支持的运维管理功能。

实时任务页面入口

  1. Dataphin首页的顶部菜单栏中,选择研发 > 任务运维

  2. 在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。

  3. 在左侧导航栏中选择任务运维 > 实时任务,打开实时任务页面。

实时任务页面介绍

实时任务页面主要由快捷搜索及筛选区、实时任务列表和批量操作区组成您可以在实时任务页面对提交的实时任务进行相关的运维操作。

image

区块

说明

区块

说明

搜索及筛选

支持输入任务对象名称或ID来搜索实时任务,适用于知道任务名称或ID时进行快捷搜索。

  • 我操作的任务:任务负责人为当前登录账号的实时任务。

  • 我的已启动实例任务:任务负责人为当前登录账号且启动的实时任务。

  • 筛选:单击筛选,可展开所有筛选项,筛选项包括:

    • 细分类型:实时引擎不同,支持选择的细分类型也不相同,具体以实际界面为准。

    • 最近操作人:根据任务的最近操作人进行筛选。

    • 负责人:根据任务的负责人进行筛选。若已选中我操作的任务,则此筛选项默认包含当前登录账号。

    • 资源队列实时引擎为Alibaba Blink、开源Flink时可根据任务运行的资源队列进行筛选。

    • 集群:实时引擎为Ververica Flink时可根据任务运行的集群进行筛选。

    • 引擎版本:任务使用的引擎版本。

    • 是否启动正式实例根据正式实例是否运行进行筛选,仅适用于ProdBasic项目。

    • 是否启动测试实例根据测试实例是否已运行进行筛选,仅适用于Dev项目。

  • 重置:打开所有筛选项后,可单击重置,快速清除已选筛选条件。

  • 刷新:单击刷新图标,刷新当前实时任务列表。

实时任务列表

实时任务页面以列表形式为您展示系统已生成的实时任务。实时任务运维列表中展示当前任务对象、最近操作人、负责人、是否启动正式实例、最近提交时间、引擎版本等信息。

  • 任务对象:提交到运维中心的实时任务。包含脚本名称和脚本ID。

  • 最近操作人:任务的上一次操作人的账号名称。

  • 负责人:任务的负责人账号名称。

  • 是否启动正式实例:实时任务的正式实例启动状态。

  • 最近提交时间:实时任务上一次提交到运维中心的时间。

  • 引擎版本:任务所使用的引擎版本。

列表操作栏为您展示实时任务支持的运维管理操作。实时任务支持的单个运维操作,请参见单个操作

批量操作

您可通过批量操作区域提供的修改负责人、启动正式实例运维功能,对实时任务进行批量处理,提高运维效率。

实时任务支持的批量运维操作,请参见批量操作

管理实时任务

单个操作

操作项

描述

操作项

描述

DAG

单击目标实时任务操作列的image图标,查看该实时任务的DAG图。更多信息,请参见实时任务DAG图支持的操作

查看实例

单击目标实时任务操作列的image图标,查看该实时任务运行生成的实例。

说明

已启动运行且已生成实例的实时任务,支持查看实例。

启动实例

单击目标实时任务操作列的image图标启动实例。操作详情,请参见启动实时实例

说明

仅支持启动未启动运行的实例。

查看任务代码

单击目标实时任务操作列的image图标,选择查看任务代码,查看该实时任务的代码。

查看任务参数

单击目标实时任务操作列的image图标,选择查看任务参数,查看实时任务节点定义的参数。

修改负责人

生产环境下,单击目标实时任务操作列的image图标,选择修改负责人,在修改负责人对话框中选择新的负责人。

说明

仅支持选择项目内且有运维权限的成员。

修改资源配置

单击目标实时任务操作列的image图标,选择修改资源配置,修改实时任务运行的资源参数,包括Core、Memory等。

说明

系统仅支持对ProdBasic项目中的任务修改资源配置。

Fusioninsight Flink引擎不支持修改资源配置。

批量操作

操作项

描述

操作项

描述

启动正式实例

支持同时启动运行多个实时实例。

说明
  • 仅适用于ProdBasic项目,且选中的实时任务均未启动运行

  • 批量启动正式实例不支持实时集成任务

  1. 选择多个未启动的实时任务,或单击本页全选后,单击启动正式实例

  2. 批量启动实时实例对话框中,配置启动信息。

    • 启动方式:支持无状态启动和从有效的状态启动。

      • 无状态启动:不带任何初始状态启动。

      • 从有效状态启动:从已存在有效状态启动。

        说明

        若选中的实例中包含无状态的实例,则批量启动实例时仅支持选择无状态启动。

    • 指定来源表读取数据时点:设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

      重要
      • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

      • SQL作业中的代码参数配置将优先于此指定的开始时间。

    • 业务日期:支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。

      重要

      SQL作业中的代码参数配置将优先于此指定的开始时间。

  3. 单击确定

修改责任人

支持同时修改多个实时任务的责任人。

  1. 选择多个实时任务,或单击本页全选后,单击修改责任人

  2. 修改负责人对话框中,选择新的负责人。

  3. 单击确定

说明
  • 仅支持选择本项目内有运维权限的成员。

  • 仅适用于ProdBasic项目。

实时任务DAG图支持的操作

实时任务在DAG图中支持的运维操作如下:

操作项

描述

操作项

描述

展开父节点

展开DAG图中main节点不同层级的依赖节点。

展开子节点

启动实时实例

实时实例的运行需要您单击image手动启动实例,并配置相关启动信息。操作详情,请参见启动实时实例

查看实时实例

进入实时实例页面,查看当前实时任务生成的实时实例。

查看节点代码

查看实时任务节点的代码。

查看任务参数

查看实时任务节点的任务参数。

查看操作日志

查看实时任务节点的操作日志。

编辑开发节点

进入Dev项目下当前任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入当前任务对应的编辑页面,编辑任务。仅适用于Basic模式。

查看生产节点

查看Prod项目中当前任务的配置。

查看任务参数

查看任务的参数。

查看拓扑结构

查看实时任务的资源组节点和组件节点。

修改资源配置

修改实时任务运行的资源参数,包括Core、Memory等。

重要

系统仅支持对ProdBasic项目中的任务修改资源配置。

Fusioninsight Flink引擎不支持修改资源配置。

  • 本页导读 (0)
  • 实时任务页面入口
  • 实时任务页面介绍
  • 管理实时任务
  • 单个操作
  • 批量操作
  • 实时任务DAG图支持的操作
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等