完成任务配置后,您可以对已创建的任务进行管理,同时,您还可以查看任务运行的指标详情。本文为您介绍同步解决方案任务的常见运维操作。
背景信息
本文仅说明同步解决方案常见的运维操作,同步解决方案产生的实时同步子任务运维操作请参见:实时同步任务运维;离线子任务运维操作参考:离线同步任务运维。
管理同步解决方案任务
任务配置完成后,您可以在 页面查看已创建的同步任务列表,您可以根据不同条件筛选同步任务。并对相应的同步任务执行如下操作:- 启动同步任务:单击对应同步任务操作列的提交执行,启动同步任务的运行。
- 编辑同步任务:实际生产环境业务会随着时间推移不断演进,源端的业务表可能会持续新增,同步解决方案支持增加或删除表。您可以单击操作列 ,进入任务配置界面进行增加或删除表,配置完成后,您可以单击提交执行,提交执行任务时,会和上一次运行成功的任务对应的表做对比,当发现新增表时则会执行新增表的添加流程。详情请参见:增加或删除已运行任务的同步表。
如果同步方案类型为一键实时同步,将先对新增表进行全量初始化,执行完成后会将新增表加入实时同步任务并启动实时同步。说明
- 重置实时同步任务位点并启动运行时,会存在一个新增表追加变更数据的过程,即任务位点时间重置到新增表全量数据初始化时的时间。例如,您的同步任务8点开始运行,到9点时运行未结束。9点时新增了一张表,则全量数据初始化在9点开始执行,此过程耗时1小时,即全量数据初始化在10点完成。此时,已经正在运行的实时同步任务会先停止,然后重置任务位点到9点,进行追加增量数据,9点到10点之间所有变更表的增量数据会被重新同步至Hologres目标表,一键新增表只保证数据的最终一致性。
- 若您需要对所有表执行初始化操作,请使用强制重跑功能。
- 强制重跑同步任务:在某些特殊情况下,例如发现源端数据被污染、数据链路出现问题等,您可以单击操作列 强制对源端所有表进行全增量初始化操作,将源端数据重新迁移到目标表中,以快速恢复数据。
说明 仅Hologres和MaxCompute支持强制重跑同步任务。
查看任务运行概况
您可以进入 页面查看所选时间周期中目标解决方案同步任务的运行状态概况。主要内容如下:- 总运行状态分布区域展示当前所选时间周期,目标任务的个数及运行结果的状态分布,统计的是任务运行成功及失败状况。您可以单击饼图中的某个色块,进入相应状态的任务列表,在任务列表页面查看相应任务的执行详情。任务的执行详情内容介绍请参见查看任务执行详情。
- 资源组水位区域展示当前登录阿里云的账号所使用的资源组规格及使用情况。您可以单击资源组名称,进入目标资源组详情页面,查看资源组的基本信息及使用详情。资源组的详细内容介绍请参见查看独享资源组的使用详情。
- 离线同步子任务区域展示当前所选时间周期,目标解决方案任务包含的离线同步任务个数、同步速率、运行结果的状态分布,以及同步数据情况。
- 运行结果统计的是任务运行成功及异常状况。
- 同步数据说明如下:
- 同步任务数:显示当前同步任务中运行成功的任务个数。
- 同步数据量:显示当前同步任务中的已同步数据量,包含已运行成功任务同步的数据量及运行中任务已同步的数据量。
- 同步记录数:显示当前同步任务中的已同步数据的条数记录。
说明 离线同步子任务的统计情况每小时更新一次。 - 实时同步子任务区域展示当前所选周期,目标解决方案任务包含的实时同步任务个数、同步速率、运行结果的状态分布,以及运行中任务延迟排行TOP10的延迟情况。您可以单击任务名称,进入实时任务运维页面查看任务详情。
查看任务执行详情
您可以单击
,进入任务列表页面。在任务列表页面,为您展示同步解决方案的任务类型、任务名称及可执行的相关操作等信息,您可以在目标同步任务的操作列单击执行详情,查看任务执行的详细信息。主要内容如下:
- 执行数据区域展示当前查看任务的同步前置环境准备、全量离线同步、实时同步等子任务的执行状态。您可以根据执行状态,判断各个子任务是否正常运行,便于快速定位同步解决方案任务执行的阻塞点。状态如下:
- 显示
图标,则表示任务执行成功。
- 显示
图标,则表示任务执行异常。
- 显示
图标,则表示任务等待运行。
- 显示
- 全量离线同步和实时同步区域展示当前查看的解决方案同步任务中,全量离线同步或实时同步子任务同步的来源数据源、当前同步速率、同步数据、同步数据的延迟情况及所使用资源组的详细信息。
- 执行步骤区域展示当前查看的解决方案同步任务,从创建任务到启动执行离线任务、实时任务的所有流程步骤。您可以在该区域查看所有步骤的执行时间及执行状态。