MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。

数据传输渠道

  • SDK-Tunnel渠道SDK-Tunnel渠道
  • 外表(湖仓一体)外表(湖仓一体)
  • JDBC渠道JDBC渠道

场景数据写入MaxCompute

离线数据批量写入(数据通道)

  • 场景特征。
    • 周期调度任务(天、小时级别调用)。
    • 对数据延迟不敏感(只要在调度周期执行完成即可满足需求)。
  • 典型场景。
    类型典型场景
    数据库批量同步数据集成-离线数据同步。
    数据上云搬站MMA。
    本地文件上传odps控制台-Tunnel命令上传。
    其它自定义上传SDK写入-批量数据通道(Tunnel)。

离线数据流式写入(数据通道)

  • 场景特征。
    • 流式数据写入(7天24小时不间断写入)。
    • 对数据可见延迟容忍度高(可接受偶发小时级别数据可见延迟)。
    • 对请求延迟容忍度高(可接受偶发分钟级别请求延迟)。
  • 典型场景。
    类型典型场景
    数据库Binlog采集
    • 数据集成-数据库实时数据同步。
    • DTS。
    日志采集
    • 数据集成-实时数据同步(SLS)。
    • SLS数据投递。
    • 日志采集客户端LogStash。
    流计算任务写入Flink写入MaxCompute结果表。
    流数据同步任务写入
    • DataHub数据同步MaxCompute。
    • KafKa数据同步MaxCompute。
    自定义写入SDK写入-流式数据通道(Streaming Tunnel)。

离线数据批量数据写入(外表-湖仓一体)

  • 场景特征:主要用于数据联邦查询分析,偶尔需要对数据进行搬运。
  • 典型场景。
    类型典型场景
    OSS数据与MaxCompute数据上传
    • LOAD命令。
    • 外部表,湖仓一体。
    Hologres数据写入MaxComputeMaxCompute直读Hologres数据。
    OTS/RDS(MySQL)/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute无。

实时数据写入(数据通道)

  • 可接受数据可见延迟。
    • 对数据可见延迟容忍度高(可接受偶发的小时级别数据可见延迟)。
    • 对请求延迟容忍度低(需要保证稳定的秒级延迟)。
    • 建议实时数据写入DataHub再同步MaxCompute。
  • 需要数据实时可见。
    • 对数据可见延迟容忍度低(需要保证稳定的分钟级数据可见延迟)。
    • 对请求延迟容忍度低(需要保证稳定的秒级延迟)。
    • 建议使用Hologres等实时数仓产品。

场景从MaxCompute读数据

批量数据读取(数据通道)

  • 场景特征。
    • 周期调度任务(天、小时级别调用)。
    • 对数据延迟不敏感(只要在调度周期执行完成即可满足需求)。
  • 典型场景。
    类型典型场景
    数仓数据批量导出数据集成-批量数据导出。
    Flink读取MaxCompute表数据Flink读MaxCompute源表。
    下载数据到本地文件odps控制台-Tunnel 命令上传。
    其它自定义数据下载SDK读数据-批量数据通道(Tunnel)。

批量数据读取(JDBC)

  • 场景特征。
    • 数据管理、数据开发、数据治理、数据地图、数据资产管理、需要查看数据样例数据。
    • 数据分析汇总与可视化展现。
  • 典型场景。
    类型典型场景
    数仓管理员对数据进行预览
    • DataWorks-数据分析、数据管理、数据开发调度(数据通道)。
    • Kettle。
    商业智能,制作报表,看板
    • Quick BI。
    • Superset。

离线数据批量数据读取(外部表-湖仓一体)

  • 场景特征:主要用于数据联邦查询分析,偶尔需要对数据进行搬运。
  • 典型场景。
    类型典型场景
    OSS数据与MaxCompute数据下载
    • UNLOAD命令。
    • 外部表,湖仓一体。
    Hologres读取MaxCompute数据Hologres外部表存储直读。
    OTS/RDS(MySQL)等读取MaxCompute数据无。