MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。
数据传输渠道
SDK-Tunnel渠道
外表(湖仓一体)
JDBC渠道
场景数据写入MaxCompute
离线数据批量写入(数据通道)
场景特征。
周期调度任务(天、小时级别调用)。
对数据延迟不敏感(只要在调度周期执行完成即可满足需求)。
典型场景。
类型
典型场景
数据库批量同步
数据集成-离线数据同步。
数据上云搬站
MMA。
本地文件上传
odps控制台-Tunnel命令上传。
其它自定义上传
SDK写入-批量数据通道(Tunnel)。
离线数据流式写入(数据通道)
场景特征。
流式数据写入(7天24小时不间断写入)。
对数据可见延迟容忍度高(可接受偶发小时级别数据可见延迟)。
对请求延迟容忍度高(可接受偶发分钟级别请求延迟)。
典型场景。
类型
典型场景
数据库Binlog采集
数据集成-数据库实时数据同步。
DTS。
日志采集
数据集成-实时数据同步(SLS)。
SLS数据投递。
日志采集客户端LogStash。
流计算任务写入
Flink写入MaxCompute结果表。
流数据同步任务写入
DataHub数据同步MaxCompute。
KafKa数据同步MaxCompute。
自定义写入
SDK写入-流式数据通道(Streaming Tunnel)。
离线数据批量数据写入(外表-湖仓一体)
场景特征:主要用于数据联邦查询分析,偶尔需要对数据进行搬运。
典型场景。
类型
典型场景
OSS数据与MaxCompute数据上传
LOAD命令。
外部表,湖仓一体。
Hologres数据写入MaxCompute
MaxCompute直读Hologres数据。
OTS/RDS(MySQL)/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute
无。
实时数据写入(数据通道)
可接受数据可见延迟。
对数据可见延迟容忍度高(可接受偶发的小时级别数据可见延迟)。
对请求延迟容忍度低(需要保证稳定的秒级延迟)。
建议实时数据写入DataHub再同步MaxCompute。
需要数据实时可见。
对数据可见延迟容忍度低(需要保证稳定的分钟级数据可见延迟)。
对请求延迟容忍度低(需要保证稳定的秒级延迟)。
建议使用Hologres等实时数仓产品。
场景从MaxCompute读数据
批量数据读取(数据通道)
场景特征。
周期调度任务(天、小时级别调用)。
对数据延迟不敏感(只要在调度周期执行完成即可满足需求)。
典型场景。
类型
典型场景
数仓数据批量导出
数据集成-批量数据导出。
Flink读取MaxCompute表数据
Flink读MaxCompute源表。
下载数据到本地文件
odps控制台-Tunnel 命令上传。
其它自定义数据下载
SDK读数据-批量数据通道(Tunnel)。
批量数据读取(JDBC)
场景特征。
数据管理、数据开发、数据治理、数据地图、数据资产管理、需要查看数据样例数据。
数据分析汇总与可视化展现。
典型场景。
类型
典型场景
数仓管理员对数据进行预览
DataWorks-数据分析、数据管理、数据开发调度(数据通道)。
Kettle。
商业智能,制作报表,看板
Quick BI。
Superset。
离线数据批量数据读取(外部表-湖仓一体)
场景特征:主要用于数据联邦查询分析,偶尔需要对数据进行搬运。
典型场景。
类型
典型场景
OSS数据与MaxCompute数据下载
UNLOAD命令。
外部表,湖仓一体。
Hologres读取MaxCompute数据
Hologres外部表存储直读。
OTS/RDS(MySQL)等读取MaxCompute数据
无。