kafka集群原理 如何利用pykafka遠(yuǎn)程消費(fèi)zookeeper kafka集群python腳本?
如何利用pykafka遠(yuǎn)程消費(fèi)zookeeper kafka集群python腳本?請參閱文檔https://pykafka.readthedocs.io/en/latest/index.html怎么查
如何利用pykafka遠(yuǎn)程消費(fèi)zookeeper kafka集群python腳本?
請參閱文檔https://pykafka.readthedocs.io/en/latest/index.html
怎么查看kafka集群中所有broker節(jié)點(diǎn)?
kafka脫離了zookeeper可以集群嗎?
問題1:Kafka剛剛與zookeeper分離了嗎?
Zookeeper只是一個服務(wù)注冊表。如果卡夫卡能找到一個替代者,更換動物園管理員就沒問題了。
有許多現(xiàn)有的服務(wù)器注冊中心。比如淘寶有自己的服務(wù)注冊中心產(chǎn)品。
因此,用其他服務(wù)注冊系統(tǒng)代替zookeeper是可行的(實(shí)際上,zookeeper作為服務(wù)注冊的功能并不理想)。例如,它的狀態(tài)檢測不能真實(shí)反映broker的狀態(tài)(如果可以連接,可以嗎?不
問題2:卡夫卡從zookeeper代表的服務(wù)注冊中心免費(fèi)嗎?
不,Kafka集群管理的核心是zookeeper,盡管它并不完美(甚至有許多缺點(diǎn))。但如果沒有ZK,卡夫卡是不可用的。因此沒有服務(wù)注冊的Kafka是不可用的。
1!卡夫卡在2011被捐贈給Apache基金會,而RAFT的論文是在尋找一個潛在的一致算法,由斯坦福大學(xué)在2013出版,卡夫卡出生在RAFT之前。當(dāng)1/3節(jié)點(diǎn)不可用時,服務(wù)不可用。Kafka中維護(hù)的ISR(in-sync replica,同步副本)可以提供服務(wù),即使副本不可用,只剩下領(lǐng)頭羊
3:更大的數(shù)據(jù)吞吐量。筏適合強(qiáng)一致性
謝謝邀請我回答這個問題。作為卡夫卡多年的使用者,我對使用卡夫卡的感覺還是很好的。
卡夫卡的每個數(shù)據(jù)流應(yīng)該對應(yīng)一個主題,每個主題可以有多個部分?,F(xiàn)在每個零件只能由一個消費(fèi)者消費(fèi)。更多的分區(qū)意味著更多的吞吐量。需要更多的文件句柄。如果使用者較少,則更多的分區(qū)將浪費(fèi)系統(tǒng)資源。從另一個角度看,越來越多的延遲將增加,這將對實(shí)時數(shù)據(jù)讀寫產(chǎn)生不利影響。
因此,適當(dāng)?shù)姆謪^(qū)數(shù)量將對Kafka的性能產(chǎn)生重要影響。