日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。簡而言之，flume是一個分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務器收集日志并將其傳輸到指定的位置，如HDFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數據訪問功能。

整個過程如下：

登錄服務器<--flume-->kafka-->hdfs-->離線計算

登錄服務器<--flume-->kafka-->storm

希望我的回答能對您有所幫助

如何設計一個MQ消息隊列？

1. 在上圖中定義消息發(fā)送和消耗的過程

2。為消息定義消息協(xié)議，如ActiveMQ、stomp、XMPP等。定義消息協(xié)議，定義消息隊列需要滿足的場景

是否要保證消息的可靠性，必要時要保證存儲的高可用性

是否支持同步和異步消息

是否要保證消息的順序

是否需要延遲消息要支持

很多開源的實現功能可以參考詳細信息。例如，rocketmq是高度可靠的，Kafka是高吞吐量的，但不是高度可靠的。