kafka查看topic數(shù)據(jù)量 kafka對(duì)topic有限制嗎?
kafka對(duì)topic有限制嗎?在使用卡夫卡的過(guò)程中,主題的數(shù)量沒(méi)有限制,但是主題的分區(qū)總數(shù)有一個(gè)上限。當(dāng)達(dá)到上限時(shí),用戶將無(wú)法繼續(xù)創(chuàng)建主題。如何為Kafka集群選擇合適的Partitions數(shù)量?感
kafka對(duì)topic有限制嗎?
在使用卡夫卡的過(guò)程中,主題的數(shù)量沒(méi)有限制,但是主題的分區(qū)總數(shù)有一個(gè)上限。當(dāng)達(dá)到上限時(shí),用戶將無(wú)法繼續(xù)創(chuàng)建主題。
如何為Kafka集群選擇合適的Partitions數(shù)量?
感謝您的邀請(qǐng)。作為卡夫卡多年的使用者,我對(duì)使用卡夫卡的感覺(jué)還是很好的。
卡夫卡的每個(gè)數(shù)據(jù)流應(yīng)該對(duì)應(yīng)一個(gè)主題,每個(gè)主題可以有多個(gè)部分?,F(xiàn)在每個(gè)零件只能由一個(gè)消費(fèi)者消費(fèi)。更多的分區(qū)意味著更多的吞吐量。需要更多的文件句柄。如果使用者較少,則更多的分區(qū)將浪費(fèi)系統(tǒng)資源。從另一個(gè)角度看,越來(lái)越多的延遲將增加,這將對(duì)實(shí)時(shí)數(shù)據(jù)讀寫產(chǎn)生不利影響。
因此,適當(dāng)?shù)姆謪^(qū)數(shù)量將對(duì)Kafka的性能產(chǎn)生重要影響。
怎樣查看kafka topic的分組?
classlogclient(object):定義初始化初始化(self,kafkahost,kafkaport):self.kafkahostself=卡夫卡霍斯特.kafkaport=kafkaportdeffixlen(self,s,l):s=s[0:8]工作節(jié)點(diǎn)s[8:]fixed=s“”*(l-len(s))返回fixedDefSendLog(self,topic,filename):嘗試:client=kafkaclient( 卡夫卡霍斯特, 卡夫卡波特)producer=simpleproducer(客戶端,主題)f=open(文件名,“rb”)fname=路徑.basename(f.name)ftext=f.read()生產(chǎn)者發(fā)送消息(自定(fname,30)ftext)f.關(guān)閉()客戶端.close()打印“kafkasent”文件名異常,例如:printex