实时数据同步

数据资源平台支持实时任务的新建,并支持一键启动多个上云任务;通过创建实时同步任务,选择已经注册的数据源端数据,并选定目标端,实现全量任务自动建表,可批量创建。本章节以MySQL to DataHub为例。

前提条件

  • 已存在对应数据源,具体操作请参见同步数据源

  • 已完成源端数据和目标端数据源同步Meta,具体操作请参见同步元数据

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面左上角单击导航图标 图标,选择研发工作台,单击顶部菜单资产加工

  3. 在顶部工作组下拉列表中,选择目标工作组。

  4. 在左侧导航栏单击数据同步.png > 实时数据同步

  5. 在实时任务管理页面的目录区域:

    1. 单击目录新建图标(添加子集目录)。

    2. 类目属性设置页面,输入类目名称、类目描述等信息,操作完成后单击确认p306419

  6. 在实时任务管理页面,有两种新建实时任务方式。

    1. 单击新增任务,对单个实时数据进行上云。

      1. 在左侧导航栏单击数据同步.png > 实时数据同步,在实时任务管理页面,单击新增任务1

      2. 在选择数据源区域,选择数据源 > 数据对象,操作完成后,单击选择目标端2

      3. 在选择目标端区域,选择目标端 > 数据对象,操作完成后,单击字典映射31

        说明

        若目标端的数据对象中没有与数据源的数据对象对应目标表,则可在数据对象下拉列表中,选择创建目标表,在目标端中新建数据对象。

      4. 在字段映射区域,单击同名映射自动链接同名字段;如果字段不同名也可手工链接,操作完成后,单击资源配置32

      5. 在配置任务调度区域,按提示输入配置信息,操作完成后单击提交,实时任务完成创建。33

    2. 单击批量新增任务,对实时数据进行批量上云;按流程新建批量数据同步任务,操作完成后单击提交

相关任务

任务

操作步骤

上线

实时任务管理页面,在任务操作列单击上线,对已新建的实时数据同步任务进行上线运行。

下线

实时任务管理页面,在任务操作列单击下线,对已上线的实时数据同步进行下线。

监控

实时任务管理页面,在任务操作列单击监控,对实时任务的运行情况进行查看。

查看

实时任务管理页面,在任务操作列单击监控,对实时任务的基本信息、选择的数据源及目标端、配置的任务调度等详细配置信息进行查看。

修改

实时任务管理页面,在任务操作列单击修改,对实时任务的基本信息、选择的数据源及目标端、配置的任务调度等详细配置信息进行修改。

删除

实时任务管理页面,在任务操作列单击删除,对已下线实时任务进行删除,出现删除提醒,单击确认。

批量上线

实时任务管理页面,选择多个任务,单击任务列表下的批量上线,对多个已新建的实时数据同步任务进行上线运行。

批量下线

实时任务管理页面,选择多个任务,单击任务列表下的批量下线,对多个已上线的实时数据同步进行下线。

批量删除

实时任务管理页面,选择多个任务,单击任务列表下的批量删除,对多个已下线的实时数据同步进行删除,出现删除提醒,单击确认