同步数据源

数据同步提供对所有的数据源进行统一管理的功能。数据同步前,需要同步好数据源作为数据源端或目标端,数据源可通过同步工作组内数据源、新建数据源两种方式同步。

前提条件

通过同步工作组内数据源直接同步数据源时,需完成云计算资源创建,具体操作请参见新建DataHub云计算资源~新建presto云计算资源

背景信息

数据同步支持关系型数据库、文件、消息队列等类型数据源的配置,具体数据同步链路的支持类型详见数据同步

同步工作组内数据源

可通过同步工作组内数据源,将当前工作组中添加的云计算资源同步到数据源管理中,供数据同步任务使用。

  1. 登录数据资源平台控制台

  2. 在页面左上角单击导航图标 图标,选择研发工作台,单击顶部菜单资产加工

  3. 在顶部工作组下拉列表中,选择目标工作组。

  4. 在左侧导航栏单击数据同步 > 同步数据源 > 数据源管理

  5. 数据源管理页面,单击同步工作组内数据源同步工作组内数据源

  6. 在右侧同步工作组内数据源面板中,勾选待同步的数据源,单击确认

新建数据源

可通过新建数据源,供数据同步任务使用。

  1. 登录数据资源平台控制台

  2. 在页面左上角单击导航图标 图标,选择研发工作台,单击顶部菜单资产加工

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组。

  4. 在左侧导航栏单击数据同步 > 同步数据源 > 数据源管理

  5. 数据源管理页面,单击新建数据源新建数据源

  6. 在右侧新增数据源面板中,配置数据源参数。1

    说明

    数据源的参数配置可参考新建云计算资源,详细信息请参见新建DataHub云计算资源~新建presto云计算资源

  7. 配置完成后,单击测试连接,连接成功后,单击确定

相关任务

在数据源管理页面,可对数据源进行以下操作:

操作

说明

查看数据源详情

在数据源列表操作列中,单击目标数据源的查看详情,可查看数据源的基本信息和数据对象的表结构信息。

编辑数据源

在数据源列表操作列中,单击目标数据源的编辑,可对除数据源类型外的数据源信息进行编辑。

移除数据源

在数据源列表操作列中,单击目标数据源的移除,可将数据源从列表中移除。

后续操作

添加完数据源后,需要同步数据源中的元数据后才能创建数据同步任务,具体操作请参见同步元数据