本文介绍阿里云生态和开源生态各场景下的兼容情况。

阿里云生态和开源生态各场景下的兼容情况如下表所示:

生态类型引擎/平台参考文档
阿里云生态HiveHive以EMR集群的方式处理OSS-HDFS服务中的数据
EMR
HBaseHBase以EMR集群的方式使用OSS-HDFS服务作为底层存储
SparkSpark以EMR集群的方式处理OSS-HDFS服务中的数据
FlinkFlink以EMR集群的方式可恢复性写入OSS-HDFS服务
ImpalaImpala以EMR集群的方式查询OSS-HDFS服务中的数据
PrestoPresto以EMR集群的方式查询OSS-HDFS服务中的数据
SqoopSqoop以EMR集群的方式读写OSS-HDFS服务的数据
Flume使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务
MaxCompute基于OSS+MaxCompute构建数据仓库
PAI使用OSS中的数据作为机器学习的训练样本
SLS通过SLS完成日志数据入湖OSS
DataLakeAnalyticsDataLakeAnalytics+OSS:基于OSS的Severless的交互式查询分析
开源生态HiveHive使用JindoSDK处理OSS-HDFS服务中的数据
HBase
SparkSpark使用JindoSDK查询OSS-HDFS服务中的数据
Flink
ImpalaImpala使用JindoSDK查询OSS-HDFS服务中的数据
PrestoPresto使用JindoSDK查询OSS-HDFS服务中的数据
FlumeFlume使用JindoSDK写入OSS-HDFS服务
Kafka将Kafka数据导入OSS
Logstash使用Logstash将日志导入OSS
Fluentd使用Fluentd访问OSS
Thanos使用Thanos访问OSS
Elasticsearch将Elasticsearch的快照备份至OSS
HDP通过HDP 2.6 Hadoop读取和写入OSS数据