数据集成支持数据同步解决方案功能,您可以通过配置同步规则,一次性实时同步或离线同步数据至相应的数据源中。同步解决方案支持整库内批量同步多张表,也支持全量、增量数据一体化同步,先同步全量数据,再实时同步增量数据。
进入同步解决方案页面
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的进入数据集成。
- 在左侧导航栏,单击同步任务,进入解决方案任务列表页面。
您可以在该页面新建同步解决方案,或查看已创建的方案及当前执行的状态。
新建同步解决方案时,您可以根据需要选择对应的数据同步解决方案,详情可参见下文的
选择同步方案。查看同步解决方案状态时,包括以下状态:
- 未运行:任务未开始执行。您可以单击相应方案后的开始执行,执行当前方案。
说明 仅单击未运行状态后的任务配置,您可以编辑任务。其它状态下的任务配置页面,仅支持查看。
- 运行中:任务在运行中,无法终止。您需要等待任务执行结束。
- 异常:任务出错,无法正常运行。此时您需要单击相应任务后的执行详情进行排查。
- 成功:任务成功运行。您可以单击相应任务后的执行详情,查看运行结果。
选择同步方案
- 在同步解决方案页面的右上角单击新建任务。
- 在新建任务页面选择数据同步的来源与去向后,选择可用的同步方案。
支持的来源数据源与去向数据源,可参见
支持的数据源,当前支持的同步方案如下所示。
根据数据同步的目的数据源类型进行分类,当前DataWorks数据同步支持以下几种数据同步方案:
- 同步数据至DataHub:当前支持的数据同步解决方案为一键实时同步至DataHub。
- 同步数据至Elasticsearch:当前支持的数据同步解决方案为一键实时同步至Elasticsearch。
- 同步数据至Hologres:当前支持的数据同步解决方案为一键实时同步至Hologres。
- 同步数据至AnalyticDB MySQL3.0:当前支持的数据同步解决方案为一键实时同步至AnalyticDB MySQL3.0。
- 同步数据至Kafka:当前支持的数据同步解决方案为一键实时同步至Kafka。
- 同步数据至MaxCompute:当前支持的数据同步解决方案为
- 一键实时同步至MaxCompute
- 整库离线同步至MaxCompute(周期性全量)
- 整库离线同步至MaxCompute(周期性增量)
- 整库离线同步至MaxCompute(一次性全量)
- 整库离线同步至MaxCompute(一次性增量)
- 整库离线同步至MaxCompute(一次性全量周期增量)