文档

查看并管理实时任务

更新时间:

实时任务是指在Dataphin创建的FLINK_SQL、FLINK_TEMPLATE_SQL和FLINK_DATASTREAM类型的计算任务。在Dataphin的实时任务页面为您展示了任务实例的基本信息及运维管理选项,方便您查看实例任务并进行管理。本文为您介绍实时任务支持的运维管理功能。

实时任务页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入开发页面。

  2. 按照下图操作指引,进入实时任务页面。

    image.png

实时任务页面介绍

实时任务页面主要由快捷搜索及筛选区、筛选区、实时任务列表、批量操作区组成您可以在实时任务页面对提交的实时任务进行相关的运维操作。

image.png

区域

描述

搜索及筛选区

支持通过输入节点ID或节点名称来筛选实时任务,适用于知晓节点ID或节点名称时进行快捷筛选出所需的实时任务。

同时支持勾选我操作的任务、我的已启动实例任务进行快捷筛选。

  • 我操作的任务:任务负责人为当前登录账号的实时任务。

  • 我的已启动实例任务:任务负责人为当前登录账号且启动的实时任务。

筛选区

单击展开筛选,可展开筛选区,筛选项包括:

  • 细分类型:实时引擎不同,支持选择的细分类型也不相同,具体以实际界面为准。

  • 最近操作人:根据任务的最近操作人进行筛选。

  • 负责人:根据任务的负责人进行筛选。

  • 资源队列:实时引擎为Alibaba Blink时可根据任务运行的资源队列进行筛选。

  • 集群:实时引擎为Ververica Flink时可根据任务运行的集群进行筛选。

  • 引擎版本:任务使用的引擎版本。

  • 是否启动正式实例:根据正式实例是否运行进行筛选,仅适用于Prod和Basic项目。

  • 是否启动测试实例:根据测试实例是否已运行进行筛选,仅适用于Dev项目。

如果您需要重新选择,则单击重置,可快速清除已选筛选条件。

实时任务列表区

实时任务页面以列表形式为您展示系统已生成的实时任务。实时任务列表信息,请参见实时任务列表支持的操作

列表操作栏为您展示实时任务支持的运维管理操作。实时任务支持的运维操作,请参见实时任务列表支持的操作

批量操作区

您可通过批量操作区域提供的修改负责人、启动正式实例运维功能,对实时任务进行批量处理,提高运维效率。

实时任务支持的批量运维操作,请参见实时任务批量操作

查看实时任务列表

实时任务提交到运维中心调度后,将在实时任务列表为您展示。实时任务运维列表展示当前任务对象、最近操作人、负责人、是否启动正式实例、最近提交时间、引擎版本及支持的操作。

image.png

字段

描述

任务对象

提交到运维中心的实时任务。包含脚本名称和脚本ID。

最近操作人

任务的上一次操作人的账号名称。

负责人

任务的负责人账号名称。

是否启动正式实例

实时任务的正式实例启动状态。

最近提交时间

实时任务上一次到运维中心的时间。

引擎版本

任务所使用的引擎版本。

实时任务列表支持的操作

实时任务列表操作栏支持的运维操作如下:

操作

描述

DAG图

单击可查看该实时任务的DAG图。更多信息,请参见实时任务DAG图支持的操作

查看实例

查看实时任务运行生成的实例。

说明

查看实例需实时任务已启动运行并生成实例。

启动实例

启动实例的运行。操作详情,请参见实时任务启动实时实例

说明

仅支持启动未启动运行的实例。

查看任务代码

查看实时任务节点的代码。

查看任务参数

查看实时任务节点定义的参数。

修改负责人

生产环境下,支持修改实时任务节点的责任人。

说明

仅支持选择项目内的成员。

修改资源配置

修改实时任务运行的资源参数,包括Core、Memory等。

说明

系统仅支持对Prod和Basic项目中的任务修改资源配置。

实时任务DAG图支持的操作

实时任务在DAG图中支持的运维操作如下:

操作

描述

展开父节点

展开DAG图中main节点不同层级的依赖节点。

展开子节点

启动实时实例

实时实例的运行需要您单击image手动启动实例,并配置相关启动信息。操作详情,请参见实时任务启动实时实例

查看实时实例

进入实时实例页面,查看当前实时任务生成的实时实例。

查看节点代码

查看实时任务节点的代码。

查看任务参数

查看实时任务节点的任务参数。

查看操作日志

查看实时任务节点的操作日志。

编辑开发节点

进入Dev项目下当前任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。

编辑节点

进入当前任务对应的编辑页面,编辑任务。仅适用于Basic模式。

查看生产节点

查看Prod项目中当前任务的配置。

查看任务参数

查看任务的参数。

查看拓扑结构

查看实时任务的资源组节点和组件节点。

修改资源配置

修改实时任务运行的资源参数,包括Core、Memory等。

重要

系统仅支持对Prod和Basic项目中的任务修改资源配置。

实时任务批量操作

实时任务在实时任务页面支持的运维操作如下:

操作

描述

启动正式实例

支持同时启动运行多个实时实例。

说明
  • 仅适用于Prod和Basic项目,且选中的实时任务均未启动运行。

  • 批量启动正式实例不支持实时集成任务。

  1. 勾选多个未启动的实时任务后,单击启动正式实例

  2. 批量启动实时实例对话框中,配置启动信息。

  • 启动方式:支持无状态启动和从最新的状态启动。

    • 无状态启动:不带任何初始状态启动。

    • 从最新状态启动:从已存在最近的有效状态启动。

      说明

      若选中的实例中包含无状态的实例,则批量启动实例时仅支持选择无状态启动。

  • 指定来源表读取数据时点:设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

    重要
    • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

    • SQL作业中的代码参数配置将优先于此指定的开始时间 。

  • 时间参数配置:支持指定时间参数具体值,默认为当天。

    重要

    SQL作业中的代码参数配置将优先于此指定的开始时间。

  1. 单击确定

修改责任人

支持同时修改多个实时任务的责任人。

说明
  • 仅支持选择本项目内的成员。

  • 仅适用于Prod和Basic项目。

实时任务启动实时实例

实时任务提交发布到运维中心后默认为启动状态。开发环境和生产环境启动实时实例操作说明如下:

Ververica Flink实时引擎

开发环境启动实时实例

  • 启动计算实时实例

    1. 测试实例参数配置对话框中,配置测试实例参数的具体值。

      参数

      描述

      指定来源表读取数据时点

      设置读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

      重要
      • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

      • SQL作业中的代码参数配置将优先于此指定的开始时间。

      测试方式

      实时任务为FLINK测试方式包括打印日志和写测试表:

      • 选择打印日志后,测试结果写入日志,不生成测试表。

      • 选择写测试表,则测试结果不写入日志,但会生成对应测试表。

        重要

        需要您确保物理数据库(如MySQL等)上已有该测试表,否则会导致启动实时实例的运行失败。

      时间参数配置

      指定时间参数具体值,默认为当天。

      输入表

      无需配置,为您展示当前实时实例的输入表名称。

      测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见新建元表

      image

      • 元表的开发环境测试时读取参数选中开发表。

        • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

        • 任务中使用的是Project_Name.元表名,则读取生产元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

        • 任务中使用的是${Project_Name}.元表名或元表名,则读取开发环境测试元表。

      • 元表的开发环境测试时读取参数选中生产表。

        • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

        • 任务中使用的是Project_Name.元表名,则读取生产环境测试元表。

        • 任务中使用的是${Project_Name}.元表名或元表名,则读取生产环境测试元表。

      • 元表的开发环境测试时写入参数选择为其他测试表。

        • 任务中使用的是Project_Name_dev.元表名,则写入开发测试元表。

        • 任务中使用的是Project_Name.元表名,则写入生产环境测试元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

        • 任务中使用的是${Project_Name}.元表名或元表名,则写入开发环境测试元表。

    2. 单击启动

  • 启动实时集成实例

    1. 启动实时实例对话框中,配置启动信息。

      参数

      描述

      启动实例

      无需配置,为您展示启动的实例名称。

      启动方式

      支持无状态启动和从最新的状态启动。

      • 无状态启动:不带任何初始状态启动。无状态启动时可指定来源表读取数据时点 。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

        重要
        • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

        • 默认值为上次结束的数据时点。

        • SQL作业中的代码参数配置将优先于此指定的开始时间。

      • 从最新状态启动:从已存在最近的有效状态启动。

        说明

        实时实例不存在最近的有效状态时,不支持从最新状态启动

    2. 单击启动

生产环境启动实时实例

  1. 启动实时实例对话框中,配置启动信息。

    参数

    描述

    启动实例

    无需配置,为您展示启动的实例名称。

    启动方式

    支持无状态启动和从最新的状态启动。

    • 无状态启动:不带任何初始状态启动。无状态启动时可指定来源表读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

      重要
      • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

      • SQL作业中的代码参数配置将优先于此指定的开始时间。

    • 从最新状态启动:从已存在最近的有效状态启动。

    时间参数配置

    配置实时实例的时间参数,默认为当天。

    说明

    实时集成任务不支持时间参数配置。

说明

若您项目的计算源为Ververica Flink,系统将自动判断您的计算源Ververica Flink是否为最新接口。若为最新接口您还需选择从启动位点开始运行或从最新状态开始运行选项。

  • 从启动位点开始运行:根据配置的读取数据时点和时间参数启动实例。

  • 从最新状态开始运行:从实时实例的原有状态恢复运行。

  1. 单击启动

Alibaba Blink实时引擎

开发环境启动实时实例

  1. 测试实例参数配置对话框中,配置测试实例参数的具体值。

    参数

    描述

    读取数据时点

    设置来源数据的读取消费时间。

    测试方式

    实时任务为FLINK测试方式包括打印日志和写测试表:

    • 选择打印日志后,测试结果写入日志,不生成测试表。

    • 选择写测试表,则测试结果不写入日志,但会生成对应测试表。

      重要

      需要您确保物理存储引擎(例如HBase、Kafka等)上已有该测试表,否则会导致启动实时实例的运行失败。

    参数配置

    请指定时间参数具体值,默认为当天。

    输入表

    无需配置,为您展示当前实时实例的输入表名称。

    测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见新建元表

    image

    • 元表的开发环境测试时读取参数选中开发表。

      • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

      • 任务中使用的是Project_Name.元表名,则读取生产元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

      • 任务中使用的是${Project_Name}.元表名或元表名,则读取开发环境测试元表。

    • 元表的开发环境测试时读取参数选中生产表。

      • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

      • 任务中使用的是Project_Name.元表名,则读取生产环境测试元表。

      • 任务中使用的是${Project_Name}.元表名或元表名,则读取生产环境测试元表。

    • 元表的开发环境测试时写入参数选择为其他测试表。

      • 任务中使用的是Project_Name_dev.元表名,则写入开发测试元表。

      • 任务中使用的是Project_Name.元表名,则写入生产环境测试元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

      • 任务中使用的是${Project_Name}.元表名或元表名,则写入开发环境测试元表。

  2. 单击启动

生产环境启动实时实例

  1. 启动实时实例对话框中,配置启动信息。

    参数

    描述

    读取数据时点

    设置来源数据的读取消费时间。

    时间参数

    配置实时实例的时间参数,默认为当天。

  1. 单击启动

  • 本页导读 (0)
文档反馈