完成实时任务的开发并发布后,您可以在运维中心启动实时实例。本文将为您介绍如何启动实时实例。
启动实时实例入口
入口一:实时任务入口启动实时实例
在Dataphin首页的顶部菜单栏中,选择研发 > 任务运维。
在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。
在左侧导航栏中选择任务运维 > 实时任务,打开实时任务页面。
在实时任务页面,单击目标实时任务操作列的
启动图标。
入口二:实时实例入口启动实时实例
在Dataphin首页的顶部菜单栏中,选择研发 > 任务运维。
在顶部菜单栏中选择项目(Dev-Prod模式还需选择环境)。
在左侧导航栏中选择实例运维 > 实时实例,打开实时实例页面。
在实时实例页面,单击目标实时任务操作列的
启动图标。
实时实例启动说明
不同计算引擎、实时实例类型和环境(开发或生产环境)启动实时方式不同,启动说明如下:
Ververica Flink、Fusioninsight、开源Flink实时引擎
开发环境启动实时计算实例
在测试实例参数配置对话框中,配置测试实例参数的具体值。
参数
描述
参数
描述
指定来源表读取数据时点
设置读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。
目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。
SQL作业中的代码参数配置将优先于此指定的开始时间。
Fusioninsight Flink引擎不支持读取数据时点。
测试方式
实时任务为Flink测试方式包括打印日志和写测试表:
选择打印日志后,测试结果写入日志,不生成测试表。
选择写测试表,则测试结果不会写入日志,但会生成对应的测试表。
需要您确保物理数据库(如MySQL等)上已有该测试表,否则会导致启动实时实例的运行失败。
输入表
无需配置,为您展示当前实时实例的输入表名称。
业务日期
支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。
测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见新建元表。
元表的开发环境测试时读取参数选中开发表。
任务中使用的是
Project_Name_dev.元表名
,则读取开发环境测试元表。任务中使用的是
Project_Name.元表名
,则读取生产元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限。任务中使用的是
${Project_Name}.元表名
或元表名,则读取开发环境测试元表。
元表的开发环境测试时读取参数选中生产表。
任务中使用的是
Project_Name_dev.元表名
,则读取开发环境测试元表。任务中使用的是
Project_Name.元表名
,则读取生产环境测试元表。任务中使用的是
${Project_Name}.元表名
或元表名,则读取生产环境测试元表。
元表的开发环境测试时写入参数选择为其他测试表。
任务中使用的是
Project_Name_dev.元表名
,则写入开发测试元表。任务中使用的是
Project_Name.元表名
,则写入生产环境测试元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限。任务中使用的是
${Project_Name}.元表名
或元表名,则写入开发环境测试元表。
单击启动。
生产环境启动实时计算实例
在启动实时实例对话框中,配置启动信息。
参数
描述
参数
描述
启动方式
支持无状态启动和从有效状态启动。
无状态启动:不带任何初始状态启动。无状态启动时可指定来源表读取数据时点。设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。
目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。
SQL作业中的代码参数配置将优先于此指定的开始时间。
Fusioninsight Flink引擎不支持读取数据时点。
从有效状态启动:从已存在的有效状态启动。支持下拉选择Checkpoint或Savepoint,仅支持选择最近8个有效状态(Checkpoint或Savepoint)。默认为最新状态启动。
实时实例不存在最近的有效状态时,不支持从有效状态启动。
业务日期
支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。
实时集成任务不支持业务日期配置。
若您项目的计算源为Ververica Flink,系统将自动判断您的计算源Ververica Flink是否为最新接口。若为最新接口您还需选择从启动位点开始运行或从最新状态开始运行选项。
从启动位点开始运行:根据配置的读取数据时点和业务日期启动实例。
从最新状态开始运行:从实时实例的原有状态恢复运行。
单击启动。
开发/生产环境启动实时集成实例
在启动实时实例对话框中, 根据不同的启动范围,配置不同参数。
增量+全量仅增量参数
描述
启动范围
选择增量+全量。
仅当实时集成任务的同步方案选择为实时增量+全量时,支持选择增量+全量。
同步对象全量同步时会清空对应目标表的数据。
启动方式
支持续跑和初始化。
续跑:启动所有未同步完成(不包含已同步完成、已停止、已忽略)的同步对象的全量同步临时任务,所有临时任务执行完成后,启动实时增量同步任务。
初始化:启动所有同步对象的全量同步临时任务,所有临时任务执行完成后,启动实时增量同步任务。
调度资源组
为当前实时实例设置调度资源组,默认为任务创建时为全量同步指定的资源组。
参数
描述
启动范围
选择仅增量。
启动方式
支持无状态启动启动,即不带任何初始状态启动。
仅启动实时增量同步任务,未开始以及同步失败的全量同步临时任务状态置为已忽略。
指定来源表读取数据时点
设置指定开始时间会让所有支持startTime的来源表(Log Service、Kafka、MySQL、MongoDB、OceanBase)均从该时刻开始读取数据,默认为当前时间。
SQL作业中的代码参数配置将优先于此指定的开始时间 。
Fusioninsight Flink引擎不支持读取数据时点。
单击启动。
Alibaba Blink实时引擎
开发环境启动实时实例
在测试实例参数配置对话框中,配置测试实例参数的具体值。
参数
描述
参数
描述
读取数据时点
设置来源数据的读取消费时间。
测试方式
实时任务为Flink测试方式包括打印日志和写测试表:
选择打印日志后,测试结果写入日志,不生成测试表。
选择写测试表,则测试结果不写入日志,但会生成对应测试表。
需要您确保物理存储引擎(例如HBase、Kafka等)上已有该测试表,否则会导致启动实时实例的运行失败。
输入表
无需配置,为您展示当前实时实例的输入表名称。
业务日期
支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。
测试实例时系统读取开发表还是生产环境的测试元表,根据元表的配置决定。查看元表配置,请参见新建元表。
元表的开发环境测试时读取参数选中开发表。
任务中使用的是
Project_Name_dev.元表名
,则读取开发环境测试元表。任务中使用的是
Project_Name.元表名
,则读取生产元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限。任务中使用的是
${Project_Name}.元表名
或元表名,则读取开发环境测试元表。
元表的开发环境测试时读取参数选中生产表。
任务中使用的是
Project_Name_dev.元表名
,则读取开发环境测试元表。任务中使用的是
Project_Name.元表名
,则读取生产环境测试元表。任务中使用的是
${Project_Name}.元表名
或元表名,则读取生产环境测试元表。
元表的开发环境测试时写入参数选择为其他测试表。
任务中使用的是
Project_Name_dev.元表名
,则写入开发测试元表。任务中使用的是
Project_Name.元表名
,则写入生产环境测试元表。如果您没有生产环境测试元表权限,则会报错。如何申请生产环境测试元表权限,请参见申请、续期和交还表权限。任务中使用的是
${Project_Name}.元表名
或元表名,则写入开发环境测试元表。
单击启动。
生产环境启动实时实例
在启动实时实例对话框中,配置启动信息。
参数
描述
参数
描述
读取数据时点
设置来源数据的读取消费时间。
业务日期
支持通过配置业务日期对时间变量赋值,时间类型的变量基于业务日期计算。默认为当天。
单击启动。
- 本页导读 (0)
- 启动实时实例入口
- 入口一:实时任务入口启动实时实例
- 入口二:实时实例入口启动实时实例
- 实时实例启动说明
- Ververica Flink、Fusioninsight、开源Flink实时引擎
- Alibaba Blink实时引擎