数据源简介

数据源作用

数据源用于连接各类大数据存储或计算集群、调度引擎,作用于湖仓迁移中心的以下模块:

模块名称

数据源作用

数据探查

连接各类大数据存储或计算集群、调度引擎,以执行探查任务获取相应的元数据信息

血缘孪生

血缘通过关联数据源来自动关联这些数据源下表所对应的校验任务(校验结果)进行染色

数据迁移

连接各类大数据存储集群,决定迁移任务的读取端(数据来源)和写入端(数据去向)

调度迁移

连接各类调度引擎,决定迁移任务的读取端(数据来源)和写入端(数据去向)

SQL转换

通过数据源获取SQL任务,以及提交对应的环境执行Dry Run测试

数据校验

  • 通过数据源进行即席元数据查询,配合校验模板动态生成校验SQL。

  • 通过数据源连接进行待校验SQL投递

数据源管理

  1. 在左侧导航栏,选择迁移准备 > 数据源管理

  2. 湖仓存储及元数据管理 调度数据源探查 页签,单击新建数据源

  3. 选择对应的数据源类型并填充连接信息。

  4. 填写完成之后可测试数据源连通性。