日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。簡而言之，flume是一個分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢茫鏗DFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對您有所幫助

如何搭建kafka？該如何學習kafka？

百度需要一個地方來存儲元信息。Zookeeper也是分布式的，這對于配置管理來說是更好的。所以我用了它。

沒有zookeeper，我們還需要一種機制來存儲元數(shù)據(jù)和交換集群信息。

卡夫卡的官方文件有說明。Zookeeper是解決分布式一致性問題的工具。

至于Kafka為什么使用ZK，您應(yīng)該首先了解ZK作為分散集群模式的作用。

消費者需要知道哪些生產(chǎn)者（對于消費者來說，卡夫卡是生產(chǎn)者）是可用的。

如果沒有ZK，消費者怎么知道？如果每個消費者在消費之前都嘗試連接到生產(chǎn)者，以測試連接是否成功，那么效率問題如何解決。

因此，卡夫卡需要ZK，卡夫卡的設(shè)計依賴于ZK。