Flume

示例如下。

--------------------------------
| Header (Map) | Body (byte[]) |
--------------------------------
               Flume Event

常见Source如下：

• Avro Source：通过监听Avro端口获取Avro Client发送的事件。Avro是Hadoop提供的一种协议，用于数据序列化。

• Exec Source：通过监听命令行输出获取数据，例如tail -f /var/log/messages。

• NetCat TCP Source：监听指定TCP端口获取数据，与Netcat UDP Source类似。

• Taildir Source：监控目录下的多个文件，记录偏移量，并且不会丢失数据，较为常用。

常见Channel如下：

• Memory Channel：缓存到内存中，性能高，较为常用。

• File Channel：缓存到文件中，会记录Checkpoint和DATA文件，可靠性高，但性能较差。

• JDBC Channel：缓存到关系型数据库中。

• Kafka Channel：通过Kafka来缓存数据。

常见Sink如下：

• Logger Sink：用于测试。

• Avro Sink：转换成Avro Event，主要用于连接多个Flume Agent。

• HDFS Sink：写入HDFS，较为常用。

• Hive Sink：写入Hive表或分区，使用Hive事务写Events。

• Kafka Sink：写入Kafka。