新增实时任务

数据同步支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。

前提条件

  • 已存在对应数据源,具体操作,请参见新建数据源

  • 已完成源端数据和目标端数据源同步Meta,具体操作,请参见同步元数据

  • 已添加实时同步任务目录,具体操作,请参见添加任务目录

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击导航图标 图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

  4. 在左侧导航栏,单击数据同步图标,将鼠标悬停在实时数据同步上,单击image图标。

  5. 实时数据同步页面右上角,单击新增任务

  6. 配置任务基本信息:在实时数据同步管理页面上方,填写任务名称、所属类目、描述。

  7. 配置同步资源,包括源端和目标端。

    1. 源端配置区域,选择数据源、topic、消息格式、模板。

      说明
      • 单击查看同步链路支持范围,可查看实时同步链路源端和目标端支持范围。

      • 在数据源下拉列表,单击创建数据源,可在弹出的面板中新建云计算资源。

    2. 目标端配置区域,选择目标端、数据对象。

      说明

      若目标端的数据对象中没有与数据源的数据对象对应目标表,则可在数据对象下拉列表中,选择创建目标表,在目标端中新建数据对象。

  8. 配置字段映射:在字段映射区域,系统默认为同名映射,可根据需要选择同行映射或通过拖拽连线自定义完成字段映射。

  9. 配置通用控制。

    参数

    说明

    表结构变化

    选择是否开启检测表结构变化。开启后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。

    资源组

    选择资源组。

    资源规格

    请设置任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024 MB)。

    读延迟阈值

    超出延迟阈值系统将报警并在任务中心显示为异常。

    重要

    当前默认值为推荐设置,请根据实际要求谨慎设置。

    写延迟阈值

    点位延迟阈值

  10. 在页面右侧单击调度配置,配置任务调度。

    参数

    说明

    监控配置

    开启后,上线的同步任务将自动推送到监控运维的监控任务管理中,默认开启监控配置。

  11. 配置完成后,在离线数据同步管理页面左上角,单击image.png图标。

    系统提示任务创建成功。

相关操作

操作

说明

查看实时任务

在目标实时任务的操作列,单击查看,可查看实时任务详细内容。

修改实时任务

在目标实时任务的操作列,单击修改,可对实时任务进行修改。

删除实时任务

  • 单个删除:在目标实时任务的操作列,单击1图标,选择删除,对实时任务进行删除。

  • 批量删除:在实时数据同步页面,选择需要删除的任务,单击页面左下角批量删除,可批量删除实时任务。

后续步骤

新增实时任务后,需要对任务进行上线操作,具体操作,请参见上线实时任务