如何為Kafka集群選擇合適的Partitions數(shù)量？十分感謝請(qǐng)貼回答這個(gè)問(wèn)題。作為kafka的多年用戶，這點(diǎn)那就很有可以使用能感受到的。kafka每個(gè)數(shù)據(jù)流都要按一個(gè)topic,每個(gè)topic可以

如何為Kafka集群選擇合適的Partitions數(shù)量？

十分感謝請(qǐng)貼回答這個(gè)問(wèn)題。作為kafka的多年用戶，這點(diǎn)那就很有可以使用能感受到的。

kafka每個(gè)數(shù)據(jù)流都要按一個(gè)topic,每個(gè)topic可以有多個(gè)parttion.每個(gè)parttion現(xiàn)只能被一個(gè)消費(fèi)者消費(fèi).一定的partition換句話說(shuō)就會(huì)的吞吐量。不需要更多的文件句柄。如果不是消費(fèi)者也很少，那更多的partition會(huì)浪費(fèi)了系統(tǒng)資源。從另一個(gè)角度上來(lái)說(shuō)，更多會(huì)提升延時(shí)，會(huì)對(duì)實(shí)時(shí)性的數(shù)據(jù)讀寫(xiě)產(chǎn)生不好的影響。

所以說(shuō)恰當(dāng)?shù)姆謪^(qū)數(shù)會(huì)對(duì)kafka的性能有著比較比較重要的影響。

spark為啥不能導(dǎo)入kafka相關(guān)包？

曾經(jīng)的試過(guò)了用sparkstreaming讀取logstash啟動(dòng)的TCPServer的數(shù)據(jù)。只不過(guò)假如你有多臺(tái)logstash的時(shí)候，這種就也很不太好辦了——就算你給logstash集群先申請(qǐng)一個(gè)VIP，也沒(méi)法確定說(shuō)轉(zhuǎn)發(fā)完全符合。因?yàn)橐话銇?lái)說(shuō)，更多的選擇是采用kafka等隊(duì)列由sparkstreaming去充當(dāng)訂閱者資源數(shù)據(jù)。

sasl認(rèn)證原理？

一.背景

kafka可以提供了多種安全認(rèn)證機(jī)制，要注意分成三類SSL和SASL2大類。其中SASL/PLAIN是基于條件賬號(hào)密碼的認(rèn)證，比較比較具體方法。最近做了個(gè)kafka的鑒權(quán)，發(fā)現(xiàn)官網(wǎng)上講的不是什么很很清楚，網(wǎng)上各種博客倒很多，只不過(guò)良莠不齊，巨多坑。在一天的研究，再一次一切搞定了，特在此留下記錄下。

二.環(huán)境

操作系統(tǒng)：linux

kafka版本：kafka_2.12-0.11.0.1

zookeeper版本：zookeeper-3.5.1-alpha

三.認(rèn)證步驟

3.1.Zookeeper配置和起動(dòng)

1.為zookeeper再添加SASL支持，在配置文件添加

requireClientAuthSchemesasljaasLoginRenew3600000

2.空白文檔zk_server_文件，為Zookeeper添加賬號(hào)認(rèn)證信息

這個(gè)文件你放進(jìn)哪里隨意，只需后面zkEnv配置正確的的路徑就再說(shuō)。我是放進(jìn)/home路徑下。zk_server_文件的內(nèi)容:

Server{requiredusername