新增实时任务

数据资源平台支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。

前提条件

  • 已存在对应数据源,具体操作,请参见新建数据源

  • 已完成源端数据和目标端数据源同步Meta,具体操作,请参见同步元数据

  • 已添加实时同步任务目录,具体操作,请参见添加任务目录

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击导航图标 图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击数据同步图标,将鼠标悬停在实时数据同步上,单击image图标。

  5. 实时数据同步页面右上角,单击新增任务

  6. 配置任务基本信息:在实时数据同步管理页面上方,填写任务名称、所属类目、描述。1

  7. 配置数据源和目标端。

    1. 数据源配置区域,选择数据源、topic、消息格式、模板。

    2. 目标源配置区域,选择目标端、数据对象。

      说明

      若目标端的数据对象中没有与数据源的数据对象对应目标表,则可在数据对象下拉列表中,选择创建目标表,在目标端中新建数据对象。

    3. 配置完成后,单击下一步2

  8. 配置字段映射。

    1. 字段映射区域,单击同名映射自动链接同名字段,若字段不同名也可手动链接。4

    2. 配置完成后,单击下一步

  9. 配置任务调度。image..png

    参数

    说明

    表结构变化

    选择是否开启检测表结构变化。开启后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。

    资源规格

    请设置任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024 MB)。

    超时(分钟)

    超过该时间,任务停止运行。

    • 周期为时间间隔类型,默认值为3倍间隔时间。

    • 周期为定时类型,默认值为24小时。

    读延迟阈值

    超出延迟阈值系统将报警并在任务中心显示为异常。

    重要

    当前默认值为推荐设置,请根据实际要求谨慎设置。

    写延迟阈值

    点位延迟阈值

  10. 操作完成后,单击提交,在提示对话框中单击确定

相关操作

操作

说明

查看实时任务

在目标实时任务的操作列,单击查看,可查看实时任务详细内容。

修改实时任务

在目标实时任务的操作列,单击修改,可对实时任务进行修改。

删除实时任务

  • 单个删除:在目标实时任务的操作列,单击1图标,选择删除,对实时任务进行删除。

  • 批量删除:在实时数据同步页面,选择需要删除的任务,单击页面左下角批量删除,可批量删除实时任务。

后续步骤

新增实时任务后,需要对任务进行上线操作,具体操作,请参见上线实时任务

阿里云首页 数据资源平台 相关技术圈