新增实时任务
数据资源平台支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。
前提条件
操作步骤
登录数据资源平台控制台。
在页面左上角,单击
图标,选择研发工作台。
在顶部菜单栏,单击
图标,选择目标工作组,单击资产加工。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击
图标,将鼠标悬停在实时数据同步上,单击
图标。
在实时数据同步页面右上角,单击新增任务。
配置任务基本信息:在实时数据同步管理页面上方,填写任务名称、所属类目、描述。
配置数据源和目标端。
在数据源配置区域,选择数据源、topic、消息格式、模板。
在目标源配置区域,选择目标端、数据对象。
说明若目标端的数据对象中没有与数据源的数据对象对应目标表,则可在数据对象下拉列表中,选择创建目标表,在目标端中新建数据对象。
配置完成后,单击下一步。
配置字段映射。
在字段映射区域,单击同名映射自动链接同名字段,若字段不同名也可手动链接。
配置完成后,单击下一步。
配置任务调度。
参数
说明
表结构变化
选择是否开启检测表结构变化。开启后,以天为单位,进行数据源端表结构检测。若发现表结构变更,则进行异常推送。异常信息可在“运维监控 - 全景监控”中查看。
资源规格
请设置任务实例运行需要的CPU内核(系统默认2个)与内存(系统默认1024 MB)。
超时(分钟)
超过该时间,任务停止运行。
周期为时间间隔类型,默认值为3倍间隔时间。
周期为定时类型,默认值为24小时。
读延迟阈值
超出延迟阈值系统将报警并在任务中心显示为异常。
重要当前默认值为推荐设置,请根据实际要求谨慎设置。
写延迟阈值
点位延迟阈值
操作完成后,单击提交,在提示对话框中单击确定。
相关操作
操作 | 说明 |
查看实时任务 | 在目标实时任务的操作列,单击查看,可查看实时任务详细内容。 |
修改实时任务 | 在目标实时任务的操作列,单击修改,可对实时任务进行修改。 |
删除实时任务 |
|
后续步骤
新增实时任务后,需要对任务进行上线操作,具体操作,请参见上线实时任务。