本文介绍阿里云生态和开源生态各场景下的兼容情况。
阿里云生态和开源生态各场景下的兼容情况如下表所示:
生态类型 | 引擎/平台 | 参考文档 |
---|---|---|
阿里云生态 | Hive | Hive以EMR集群的方式处理OSS-HDFS服务中的数据 |
EMR | ||
HBase | HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储 | |
Spark | Spark以EMR集群的方式处理OSS-HDFS服务中的数据 | |
Flink | Flink以EMR集群的方式可恢复性写入OSS-HDFS服务 | |
Impala | Impala以EMR集群的方式查询OSS-HDFS服务中的数据 | |
Presto | Presto以EMR集群的方式查询OSS-HDFS服务中的数据 | |
Sqoop | Sqoop以EMR集群的方式读写OSS-HDFS服务的数据 | |
Flume | 使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务 | |
MaxCompute | 基于OSS+MaxCompute构建数据仓库 | |
PAI | 使用OSS中的数据作为机器学习的训练样本 | |
SLS | 通过SLS完成日志数据入湖OSS | |
DataLakeAnalytics | DataLakeAnalytics+OSS:基于OSS的Severless的交互式查询分析 | |
开源生态 | Hive | Hive使用JindoSDK处理OSS-HDFS服务中的数据 |
HBase | ||
Spark | Spark使用JindoSDK查询OSS-HDFS服务中的数据 | |
Flink | ||
Impala | Impala使用JindoSDK查询OSS-HDFS服务中的数据 | |
Presto | Presto使用JindoSDK查询OSS-HDFS服务中的数据 | |
Flume | Flume使用JindoSDK写入OSS-HDFS服务 | |
Kafka | 将Kafka数据导入OSS | |
Logstash | 使用Logstash将日志导入OSS | |
Fluentd | 使用Fluentd访问OSS | |
Thanos | 使用Thanos访问OSS | |
Elasticsearch | 将Elasticsearch的快照备份至OSS | |
HDP | 通过HDP 2.6 Hadoop读取和写入OSS数据 |