新增实时任务

更新时间:2024-01-16 03:22:17

数据同步支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。

前提条件

  • 已存在对应数据源,具体操作,请参见新建数据源

  • 已完成源端数据和目标端数据源同步Meta,具体操作,请参见同步元数据

  • 已添加实时同步任务目录,具体操作,请参见添加任务目录

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击导航图标 图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

  4. 在左侧导航栏,单击数据同步图标,将鼠标悬停在实时数据同步上,单击image图标。

  5. 实时数据同步页面右上角,单击新增任务

  6. 配置任务基本信息:在实时数据同步管理页面上方,填写任务名称、所属类目、描述。

  7. 配置同步资源,包括源端和目标端。

    1. 源端配置区域,选择数据源、topic、消息格式、模板。

      说明
      • 单击查看同步链路支持范围,可查看实时同步链路源端和目标端支持范围。

      • 在数据源下拉列表,单击创建数据源,可在弹出的面板中新建云计算资源。

    2. 目标端配置区域,选择目标端、数据对象。

      说明

      若目标端的数据对象中没有与数据源的数据对象对应目标表,则可在数据对象下拉列表中,选择创建目标表,在目标端中新建数据对象。

  8. 配置字段映射:在字段映射区域,系统默认为同名映射,可根据需要选择同行映射或通过拖拽连线自定义完成字段映射。

  9. 配置通用控制。

    参数

    说明

    参数

    说明

    表结构变化

    选择是否开启检测表结构变化。开启后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。

    资源组

    选择资源组。

    资源规格

    请设置任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024 MB)。

    读延迟阈值

    超出延迟阈值系统将报警并在任务中心显示为异常。

    重要

    当前默认值为推荐设置,请根据实际要求谨慎设置。

    写延迟阈值

    点位延迟阈值

  10. 在页面右侧单击调度配置,配置任务调度。

    参数

    说明

    参数

    说明

    监控配置

    开启后,上线的同步任务将自动推送到监控运维的监控任务管理中,默认开启监控配置。

  11. 配置完成后,在离线数据同步管理页面左上角,单击image.png图标。

    系统提示任务创建成功。

相关操作

操作

说明

操作

说明

查看实时任务

在目标实时任务的操作列,单击查看,可查看实时任务详细内容。

修改实时任务

在目标实时任务的操作列,单击修改,可对实时任务进行修改。

删除实时任务

  • 单个删除:在目标实时任务的操作列,单击1图标,选择删除,对实时任务进行删除。

  • 批量删除:在实时数据同步页面,选择需要删除的任务,单击页面左下角批量删除,可批量删除实时任务。

后续步骤

新增实时任务后,需要对任务进行上线操作,具体操作,请参见上线实时任务

  • 本页导读 (0)
  • 前提条件
  • 操作步骤
  • 相关操作
  • 后续步骤
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等