当您在DataStudio中完成任务开发,并发布至生产环境后,您可以进入运维中心运行实时同步任务,同时,您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。

前提条件

已完成实时同步任务的创建、发布。详情请参见:配置单表增量数据实时同步任务配置整库增量数据实时同步任务

运行与管理实时同步任务

任务配置完成后,您可以在运维中心 > 实时任务运维 > 实时同步任务面板启动暂停下线对应同步任务,详情请参见实时同步任务运行与管理
说明 启动任务运行时,支持您设置同步位点和FailOver次数。
  • 位点设置:支持断点续传或从指定同步起始位置开始同步。
  • FailOver:为避免FailOver导致频繁启动任务占用系统资源,您可配置指定时间段内FailOver出现次数超过指定次数时,任务自动结束运行。如果您不配置Failover次数,将根据5分钟内,Failover次数超过100来自动结束任务。

任务运行状态监控

为避免任务出错导致业务数据产出延迟,您可以进入运维中心 > 实时任务运维 > 实时同步任务页面,找到对应同步任务,单击操作列的报警设置。详情请参见:实时同步任务运行与管理
  • 报警条件:支持对任务状态业务延迟FailoverDDL不支持设置监控报警。
    说明 DDL不支持:数据写入不同目的端时,对源端DDL操作的支持情况不同,当源端存在不支持的DDL操作时,会报此类错误。DDL支持情况详情请参见:支持的DML及DDL操作
  • 报警通知方式:支持通过邮件短信电话钉钉等方式将报警信息发送给报警接收人。
  • 疲劳度控制:为了避免短时间内产生大量报警,数据集成实时同步还支持疲劳度控制,即为DataWorks支持您设置当前规则在指定时间间隔内只发送一次报警信息。

使用Logview查看任务运行信息

说明

该功能目前在灰度邀测中,如需使用,请进入DataWorks交流钉钉群联系值班人员处理。

数据集成LogView是在数据集成同步任务中进行埋点采集,分析处理,可视化展现,更加细粒度展示分析同步任务过程的同步速率,日志等信息。

运维中心 > 实时同步任务页面,找到目标任务,单击实时任务的任务名称,即可进入实时任务Logview页面。logview您可以在该页面查看如下信息:
参数描述
日志您可以在该页面查看实时任务的日志详情,并可以根据时间筛选日志。
进度您可以在该页面查看实时任务的详情进展,包括业务延迟同步条数同步字节数同步条数速率同步字节速率窗口等待时间等变化曲线。
您还可以在该页面执行如下操作:
  • 您可以通过时间筛选框,筛选某段时间内任务的同步信息。
    说明 时间筛选最多支持查看15天内的详细信息。
  • 任务列表右侧,单击自定义列图标,可以选择展现更多的列信息。
  • 任务列表中,可以通过切换查看Worker列表Task列表信息。
    • Worker列表是指实时任务启动的实例,非分布式任务只有一个Worker,分布式任务根据并发数会有多个Worker。
    • Task列表是指一个Worker内部的线程任务,分为Reader类型和Writer类型,根据配置的并发数会有1个到多个的Reader任务和1个到多个的Writer任务。
    您还可以单击任务列表中的内容,查看某个指标的曲线变化。
  • 在进程列表中,可以单击具体的内容,查看某个指标的曲线变化。曲线
数据库DDL事件您可以在此页面查看源端发现的DDL记录。
数据库DML事件您可以在此页面对来源表、目标表进行统计分析。
Failover您可以在此页面查看实时任务的Failover状态和变化曲线,也可以在日志详情中查看该次Failover的日志信息。

修改实时同步任务

您可进入DataStudio界面重新编辑实时同步任务,但若要此次变更操作生效,您需要先停止线上实时同步任务,变更操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。

修改DDL规则

您可以在启动同步任务前,进入DataStudio界面,重新定义该任务对源端DDL消息的处理策略。详情请参见:配置整库增量数据实时同步任务
说明 DataStudio界面的变更操作,若要生效,都需要先停止线上实时同步任务,在操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。

常见问题

为什么实时同步任务延迟较大?