数据湖方案
  • 阶段1:构建数据湖(需要关联 DLA 的Meta)
    • 数据库 入湖:可以通过DLA提供的 一键建湖 的能力,客户也可以通过其他手段建湖;
    • 文件上传:数据上传后,DLA元数据爬取功能可自动爬取构建好元数据体系;
    • 流式数据:DLA提供了DLA SparkStreaming来对接,并写入OSS之中,提供Hudi格式的支持,自动关联好DLA的Meta;
  • 阶段2:DLA Serverless Spark提供强大的数据清洗能力,把ODS层的原始数据清洗为结构化的DW数据。
  • 阶段3:DLA可以提供SQL交互式分析或者 通过DLA Spark做进一步的计算等。

联邦分析分析: 同时连接多个数据源做数据的分析

联邦查询与轻量级清洗
  • 联邦分析与轻量级清洗方案:可对接数十种数据源对各种数据源进行查询与轻量数据级清洗。
  • 可以支持扫描量版本 与 CU版本混合使用。