日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來(lái)說(shuō)，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。簡(jiǎn)而言之，flume是一個(gè)分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來(lái)說(shuō)，它們是完全不同的；它們的場(chǎng)景是不同的，但它們可以一起使用。

簡(jiǎn)而言之，flume是一個(gè)分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個(gè)分布式消息中間件，有自己的存儲(chǔ)，提供推拉數(shù)據(jù)訪問(wèn)功能。

整個(gè)過(guò)程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計(jì)算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對(duì)您有所幫助！從淺到深的原則，微信從官方賬號(hào)的角度理解卡夫卡?？ǚ蚩ㄓ?011捐贈(zèng)給阿帕奇基金會(huì)，拉夫的論文是在2013斯坦福大學(xué)出版的地下一致性算法中找到的，卡夫卡是在筏子之前出生的。當(dāng)1/3節(jié)點(diǎn)不可用時(shí)，服務(wù)不可用。Kafka中維護(hù)的ISR（in-sync replica，同步副本）可以提供服務(wù)，即使副本不可用，只剩下領(lǐng)頭羊

3:更大的數(shù)據(jù)吞吐量。Raft適用于強(qiáng)一致性

Kafka是由Apache軟件基金會(huì)開(kāi)發(fā)，Scala和Java編寫的開(kāi)源流處理平臺(tái)。

Kafka有哪些好的例子可以用來(lái)快速入門？

在使用卡夫卡的過(guò)程中，主題的數(shù)量沒(méi)有限制，但是主題的分區(qū)總數(shù)有一個(gè)上限。當(dāng)達(dá)到上限時(shí)，用戶將無(wú)法繼續(xù)創(chuàng)建主題。