文档

准备数据源和计算源

更新时间:

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。

准备数据源

Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型及操作指导,请参见Dataphin支持的数据源

重要

确定业务数据源类型后,在Dataphin创建对应类型的数据源之前,您需确保数据源与Dataphin间网络连通,以实现Dataphin读取该数据源的原始数据及向该数据源写入Dataphin加工后的数据。详情请参见网络连通解决方案

准备计算源

在创建项目空间前,您需要完成项目空间计算源的准备。计算源包括离线计算源(MaxCompute)和实时计算源(Flink)。您可以根据业务情况进行准备对应的计算源:

  • 如何创建MaxCompute项目,请参见创建MaxCompute项目

    Dataphin支持为MaxCompute计算引擎的离线数仓添加加速计算源,以满足对查询速度有要求的业务场景。如果需要加速业务数据的查询速度,则您需要完成Hologres的准备。如何开通Hologres,请参见购买Hologres

  • 如何创建Flink项目,请参见Flink SQL作业快速入门

    重要

    当前,Dataphin仅支持Blink独享集群版的Flink作为Dataphin的计算源。

后续步骤

完成数据源和计算源准备后,您就可以创建用于研发数据的项目空间。如何创建项目空间请参见创建项目空间

  • 本页导读 (0)
文档反馈