数据同步支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。
前提条件
操作步骤
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工。
在左侧导航栏,单击图标,将鼠标悬停在实时数据同步上,单击图标。
在实时数据同步页面右上角,单击新增任务。
配置任务基本信息:在实时数据同步管理页面上方,填写任务名称、所属类目、描述。
配置同步资源,包括源端和目标端。
在源端配置区域,选择数据源、topic、消息格式、模板。
说明单击查看同步链路支持范围,可查看实时同步链路源端和目标端支持范围。
在数据源下拉列表,单击创建数据源,可在弹出的面板中新建云计算资源。
在目标端配置区域,选择目标端、数据对象。
说明若目标端的数据对象中没有与数据源的数据对象对应目标表,则可在数据对象下拉列表中,选择创建目标表,在目标端中新建数据对象。
配置字段映射:在字段映射区域,系统默认为同名映射,可根据需要选择同行映射或通过拖拽连线自定义完成字段映射。
配置通用控制。
参数
说明
表结构变化
选择是否开启检测表结构变化。开启后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。
资源组
选择资源组。
资源规格
请设置任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024 MB)。
读延迟阈值
超出延迟阈值系统将报警并在任务中心显示为异常。
重要当前默认值为推荐设置,请根据实际要求谨慎设置。
写延迟阈值
点位延迟阈值
在页面右侧单击调度配置,配置任务调度。
参数
说明
监控配置
开启后,上线的同步任务将自动推送到监控运维的监控任务管理中,默认开启监控配置。
配置完成后,在离线数据同步管理页面左上角,单击图标。
系统提示任务创建成功。
相关操作
操作 | 说明 |
查看实时任务 | 在目标实时任务的操作列,单击查看,可查看实时任务详细内容。 |
修改实时任务 | 在目标实时任务的操作列,单击修改,可对实时任务进行修改。 |
删除实时任务 |
|
后续步骤
新增实时任务后,需要对任务进行上线操作,具体操作,请参见上线实时任务。