数据湖生态接入

本文介绍对象存储OSS支持接入的数据湖生态。

生态类型

引擎/平台

参考文档

开源生态

Elasticsearch

备份Elasticsearch快照至OSS

Flink

Fluentd

使用Fluentd访问OSS

Flume

使用Flume写入OSS-HDFS服务

Hadoop

自建Hadoop使用JindoSDK访问OSS-HDFS服务

HBase

Hive

Hive使用JindoSDK处理OSS-HDFS服务中的数据

HDP

通过HDP 2.6 Hadoop读写OSS数据

Kafka

导入Kafka数据至OSS

Logstash

使用Logstash导入日志至OSS

Impala

Impala使用JindoSDK查询OSS-HDFS服务中的数据

Presto

Trino使用JindoSDK查询OSS-HDFS服务中的数据

Spark

Spark使用JindoSDK查询OSS-HDFS服务中的数据

Thanos

使用Thanos访问OSS

阿里云生态

DataLakeAnalytics

基于OSSSeverless的交互式查询分析

EMR

EMR HiveSpark中访问OSS-HDFS

Flink

Flume

同步EMR Kafka集群的数据至OSS-HDFS服务

HBase

HBaseEMR集群的方式使用OSS-HDFS服务作为底层存储

Hive

HiveEMR集群的方式处理OSS-HDFS服务中的数据

Impala

ImpalaEMR集群的方式查询OSS-HDFS服务中的数据

MaxCompute

通过MaxCompute查询和分析OSS数据

PAI

使用OSS数据作为机器学习的训练样本

Presto

TrinoEMR集群的方式查询OSS-HDFS服务中的数据

SLS

通过SLS完成日志数据入湖OSS

Spark

SparkEMR集群的方式处理OSS-HDFS服务中的数据

Sqoop

SqoopEMR集群的方式读写OSS-HDFS服务的数据

第三方生态

Databend Cloud

通过Databend Cloud分析OSS数据

SeaTunnel

通过SeaTunnel集成平台写入OSS-HDFS服务