kafka是干嘛的 日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系?
日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系?flume和Kafka的一些功能是相同的,但總的來說,它們是完全不同的;它們的場景是不同的,但它們可以一起使用。簡而言之,flume是一個分布式日志
日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系?
flume和Kafka的一些功能是相同的,但總的來說,它們是完全不同的;它們的場景是不同的,但它們可以一起使用。
簡而言之,flume是一個分布式日志收集系統(tǒng),它從各種服務器收集日志并將其傳輸到指定的位置,如HDFS。
Kafka是一個分布式消息中間件,有自己的存儲,提供推拉數據訪問功能。
整個過程如下:
登錄服務器<--flume-->kafka-->hdfs-->離線計算
登錄服務器<--flume-->kafka-->storm
希望我的回答能對您有所幫助!從淺到深的原則,微信從官方賬號的角度理解卡夫卡??ǚ蚩ㄓ?011捐贈給阿帕奇基金會,拉夫的論文是在2013斯坦福大學出版的地下一致性算法中找到的,卡夫卡是在筏子之前出生的。當1/3節(jié)點不可用時,服務不可用。Kafka中維護的ISR(in-sync replica,同步副本)可以提供服務,即使副本不可用,只剩下領頭羊
3:更大的數據吞吐量。Raft適用于強一致性
Kafka是由Apache軟件基金會開發(fā),Scala和Java編寫的開源流處理平臺。
Kafka有哪些好的例子可以用來快速入門?
在使用卡夫卡的過程中,主題的數量沒有限制,但是主題的分區(qū)總數有一個上限。當達到上限時,用戶將無法繼續(xù)創(chuàng)建主題。