当您在DataStudio中完成任务开发,并发布至生产环境后,您可以进入运维中心运行实时同步任务,同时,您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。
前提条件
已完成实时同步任务的创建、发布。详情请参见:配置单表增量数据实时同步任务、配置整库增量数据实时同步任务。
运行与管理实时同步任务
任务配置完成后,您可以在启动、暂停、下线对应同步任务,详情请参见实时同步任务运行与管理。
面板说明 启动任务运行时,支持您设置同步位点和FailOver次数。
- 位点设置:支持断点续传或从指定同步起始位置开始同步。
- FailOver:为避免FailOver导致频繁启动任务占用系统资源,您可配置指定时间段内FailOver出现次数超过指定次数时,任务自动结束运行。如果您不配置Failover次数,将根据5分钟内,Failover次数超过100来自动结束任务。
任务运行状态监控
为避免任务出错导致业务数据产出延迟,您可以进入 页面,找到对应同步任务,单击操作列的报警设置。详情请参见:实时同步任务运行与管理。- 报警条件:支持对任务状态、业务延迟、Failover和DDL不支持设置监控报警。说明 DDL不支持:数据写入不同目的端时,对源端DDL操作的支持情况不同,当源端存在不支持的DDL操作时,会报此类错误。DDL支持情况详情请参见:支持的DML及DDL操作。
- 报警通知方式:支持通过邮件、短信、电话和钉钉等方式将报警信息发送给报警接收人。
- 疲劳度控制:为了避免短时间内产生大量报警,数据集成实时同步还支持疲劳度控制,即为DataWorks支持您设置当前规则在指定时间间隔内只发送一次报警信息。
使用Logview查看任务运行信息
说明
该功能目前在灰度邀测中,如需使用,请进入DataWorks交流钉钉群联系值班人员处理。
数据集成LogView是在数据集成同步任务中进行埋点采集,分析处理,可视化展现,更加细粒度展示分析同步任务过程的同步速率,日志等信息。
在
页面,找到目标任务,单击实时任务的任务名称,即可进入实时任务Logview页面。您可以在该页面查看如下信息:参数 | 描述 |
---|---|
日志 | 您可以在该页面查看实时任务的日志详情,并可以根据时间筛选日志。 |
进度 | 您可以在该页面查看实时任务的详情进展,包括业务延迟、同步条数、同步字节数、同步条数速率、同步字节速率、窗口等待时间等变化曲线。 您还可以在该页面执行如下操作:
|
数据库DDL事件 | 您可以在此页面查看源端发现的DDL记录。 |
数据库DML事件 | 您可以在此页面对来源表、目标表进行统计分析。 |
Failover | 您可以在此页面查看实时任务的Failover状态和变化曲线,也可以在日志详情中查看该次Failover的日志信息。 |
修改实时同步任务
您可进入DataStudio界面重新编辑实时同步任务,但若要此次变更操作生效,您需要先停止线上实时同步任务,变更操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。
修改DDL规则
您可以在启动同步任务前,进入DataStudio界面,重新定义该任务对源端DDL消息的处理策略。详情请参见:配置整库增量数据实时同步任务。
说明 DataStudio界面的变更操作,若要生效,都需要先停止线上实时同步任务,在操作完成后重新提交、发布任务,然后进入运维中心启动任务运行。