文档

启动实时实例

更新时间:

完成实时任务的开发并发布后,您可以在运维中心启动实时实例。本文将为您介绍如何启动实时实例。

启动实时实例入口

入口一:实时任务入口启动实时实例

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照以下操作指引,启动实时实例。

    选择项目->单击实时任务->单击image启动图标。

    image

入口二:实时实例入口启动实时实例

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照以下操作指引,启动实时实例。

    选择项目->单击实时实例->单击image启动图标。

    image

实时实例启动说明

不同计算引擎、实时实例类型和环境(开发或生产环境)启动实时方式不同,启动说明如下:

Ververica Flink、Fusioninsight、开源Flink实时引擎

开发环境启动实时实例

  • 启动计算实时实例

    1. 测试实例参数配置对话框中,配置测试实例参数的具体值。

      参数

      说明

      指定来源表读取数据时点

      设置读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

      重要
      • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

      • SQL作业中的代码参数配置将优先于此指定的开始时间。

      • Fusioninsight Flink引擎不支持读取数据时点。

      测试方式

      实时任务为Flink测试方式包括打印日志和写测试表:

      • 选择打印日志后,测试结果写入日志,不生成测试表。

      • 选择写测试表,则测试结果不会写入日志,但会生成对应的测试表。

        重要

        需要您确保物理数据库(如MySQL等)上已有该测试表,否则会导致启动实时实例的运行失败。

      输入表

      无需配置,为您展示当前实时实例的输入表名称。

      业务日期

      支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。

      测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见新建元表

      image

      • 元表的开发环境测试时读取参数选中开发表。

        • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

        • 任务中使用的是Project_Name.元表名,则读取生产元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

        • 任务中使用的是${Project_Name}.元表名或元表名,则读取开发环境测试元表。

      • 元表的开发环境测试时读取参数选中生产表。

        • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

        • 任务中使用的是Project_Name.元表名,则读取生产环境测试元表。

        • 任务中使用的是${Project_Name}.元表名或元表名,则读取生产环境测试元表。

      • 元表的开发环境测试时写入参数选择为其他测试表。

        • 任务中使用的是Project_Name_dev.元表名,则写入开发测试元表。

        • 任务中使用的是Project_Name.元表名,则写入生产环境测试元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

        • 任务中使用的是${Project_Name}.元表名或元表名,则写入开发环境测试元表。

    2. 单击启动

  • 启动实时集成实例

    1. 启动实时实例对话框中,配置启动信息。

      参数

      说明

      启动实例

      无需配置,为您展示启动的实例名称。

      启动方式

      支持无状态启动和从有效状态启动。

      • 无状态启动:不带任何初始状态启动。无状态启动时可指定来源表读取数据时点 。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

        重要
        • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

        • 默认值为上次结束的数据时点。

        • SQL作业中的代码参数配置将优先于此指定的开始时间。

        • Fusioninsight Flink引擎不支持读取数据时点。

      • 从有效状态启动:从已存在的有效状态启动。支持下拉选择Checkpoint或Savepoint,仅支持选择最近8个有效状态(Checkpoint或Savepoint)。默认为最新状态启动。

        说明

        实时实例不存在最近的有效状态时,不支持从有效状态启动

    2. 单击启动

生产环境启动实时实例

  1. 启动实时实例对话框中,配置启动信息。

    参数

    说明

    启动实例

    无需配置,为您展示启动的实例名称。

    启动方式

    支持无状态启动和从有效状态启动。

    • 无状态启动:不带任何初始状态启动。无状态启动时可指定来源表读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。

      重要
      • 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点

      • SQL作业中的代码参数配置将优先于此指定的开始时间。

      • Fusioninsight Flink引擎不支持读取数据时点。

    • 从有效状态启动:从已存在的有效状态启动。支持下拉选择Checkpoint或Savepoint,仅支持选择最近8个有效状态(Checkpoint或Savepoint)。默认为最新状态启动。

      说明

      实时实例不存在最近的有效状态时,不支持从有效状态启动

    业务日期

    支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。

    说明

    实时集成任务不支持业务日期配置。

说明

若您项目的计算源为Ververica Flink,系统将自动判断您的计算源Ververica Flink是否为最新接口。若为最新接口您还需选择从启动位点开始运行或从最新状态开始运行选项。

  • 从启动位点开始运行:根据配置的读取数据时点和业务日期启动实例。

  • 从最新状态开始运行:从实时实例的原有状态恢复运行。

  1. 单击启动

Alibaba Blink实时引擎

开发环境启动实时实例

  1. 测试实例参数配置对话框中,配置测试实例参数的具体值。

    参数

    说明

    读取数据时点

    设置来源数据的读取消费时间。

    测试方式

    实时任务为Flink测试方式包括打印日志和写测试表:

    • 选择打印日志后,测试结果写入日志,不生成测试表。

    • 选择写测试表,则测试结果不写入日志,但会生成对应测试表。

      重要

      需要您确保物理存储引擎(例如HBase、Kafka等)上已有该测试表,否则会导致启动实时实例的运行失败。

    输入表

    无需配置,为您展示当前实时实例的输入表名称。

    业务日期

    支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。

    测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见新建元表

    image

    • 元表的开发环境测试时读取参数选中开发表。

      • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

      • 任务中使用的是Project_Name.元表名,则读取生产元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

      • 任务中使用的是${Project_Name}.元表名或元表名,则读取开发环境测试元表。

    • 元表的开发环境测试时读取参数选中生产表。

      • 任务中使用的是Project_Name_dev.元表名,则读取开发环境测试元表。

      • 任务中使用的是Project_Name.元表名,则读取生产环境测试元表。

      • 任务中使用的是${Project_Name}.元表名或元表名,则读取生产环境测试元表。

    • 元表的开发环境测试时写入参数选择为其他测试表。

      • 任务中使用的是Project_Name_dev.元表名,则写入开发测试元表。

      • 任务中使用的是Project_Name.元表名,则写入生产环境测试元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限

      • 任务中使用的是${Project_Name}.元表名或元表名,则写入开发环境测试元表。

  2. 单击启动

生产环境启动实时实例

  1. 启动实时实例对话框中,配置启动信息。

    参数

    说明

    读取数据时点

    设置来源数据的读取消费时间。

    业务日期

    支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。

  1. 单击启动