文档

数据传输与迁移概述

更新时间:

MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。

数据传输渠道

  • SDK-Tunnel渠道SDK-Tunnel渠道

  • 外表(湖仓一体)外表(湖仓一体)

  • JDBC渠道JDBC渠道

场景数据写入MaxCompute

离线数据批量写入(数据通道)

  • 场景特征。

    • 周期调度任务(天、小时级别调用)。

    • 对数据延迟不敏感(只要在调度周期执行完成即可满足需求)。

  • 典型场景。

    类型

    典型场景

    数据库批量同步

    数据集成-离线数据同步。

    数据上云搬站

    MMA。

    本地文件上传

    odps控制台-Tunnel命令上传。

    其它自定义上传

    SDK写入-批量数据通道(Tunnel)。

离线数据流式写入(数据通道)

  • 场景特征。

    • 流式数据写入(7天24小时不间断写入)。

    • 对数据可见延迟容忍度高(可接受偶发小时级别数据可见延迟)。

    • 对请求延迟容忍度高(可接受偶发分钟级别请求延迟)。

  • 典型场景。

    类型

    典型场景

    数据库Binlog采集

    • 数据集成-数据库实时数据同步。

    • DTS。

    日志采集

    • 数据集成-实时数据同步(SLS)。

    • SLS数据投递。

    • 日志采集客户端LogStash。

    流计算任务写入

    Flink写入MaxCompute结果表。

    流数据同步任务写入

    • DataHub数据同步MaxCompute。

    • KafKa数据同步MaxCompute。

    自定义写入

    SDK写入-流式数据通道(Streaming Tunnel)。

离线数据批量数据写入(外表-湖仓一体)

  • 场景特征:主要用于数据联邦查询分析,偶尔需要对数据进行搬运。

  • 典型场景。

    类型

    典型场景

    OSS数据与MaxCompute数据上传

    • LOAD命令。

    • 外部表,湖仓一体。

    Hologres数据写入MaxCompute

    MaxCompute直读Hologres数据。

    OTS/RDS(MySQL)/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute

    无。

实时数据写入(数据通道)

  • 可接受数据可见延迟。

    • 对数据可见延迟容忍度高(可接受偶发的小时级别数据可见延迟)。

    • 对请求延迟容忍度低(需要保证稳定的秒级延迟)。

    • 建议实时数据写入DataHub再同步MaxCompute。

  • 需要数据实时可见。

    • 对数据可见延迟容忍度低(需要保证稳定的分钟级数据可见延迟)。

    • 对请求延迟容忍度低(需要保证稳定的秒级延迟)。

    • 建议使用Hologres等实时数仓产品。

场景从MaxCompute读数据

批量数据读取(数据通道)

  • 场景特征。

    • 周期调度任务(天、小时级别调用)。

    • 对数据延迟不敏感(只要在调度周期执行完成即可满足需求)。

  • 典型场景。

    类型

    典型场景

    数仓数据批量导出

    数据集成-批量数据导出。

    Flink读取MaxCompute表数据

    Flink读MaxCompute源表。

    下载数据到本地文件

    odps控制台-Tunnel 命令上传。

    其它自定义数据下载

    SDK读数据-批量数据通道(Tunnel)。

批量数据读取(JDBC)

  • 场景特征。

    • 数据管理、数据开发、数据治理、数据地图、数据资产管理、需要查看数据样例数据。

    • 数据分析汇总与可视化展现。

  • 典型场景。

    类型

    典型场景

    数仓管理员对数据进行预览

    • DataWorks-数据分析、数据管理、数据开发调度(数据通道)。

    • Kettle。

    商业智能,制作报表,看板

    • Quick BI。

    • Superset。

离线数据批量数据读取(外部表-湖仓一体)

  • 场景特征:主要用于数据联邦查询分析,偶尔需要对数据进行搬运。

  • 典型场景。

    类型

    典型场景

    OSS数据与MaxCompute数据下载

    • UNLOAD命令。

    • 外部表,湖仓一体。

    Hologres读取MaxCompute数据

    Hologres外部表存储直读。

    OTS/RDS(MySQL)等读取MaxCompute数据

    无。