kafka的分區(qū)可以增加或減少？Kafka在用磁盤分區(qū)將topic的消息攪碎到多個分區(qū)分布保存到在有所不同的broker上，基于了producer和consumer消息去處理的高吞吐量。Kafka的p

kafka的分區(qū)可以增加或減少？

Kafka在用磁盤分區(qū)將topic的消息攪碎到多個分區(qū)分布保存到在有所不同的broker上，基于了producer和consumer消息去處理的高吞吐量。

Kafka的producer和consumer都也可以多線程地聯(lián)成一體操作，而每個線程全面處理的是一個分區(qū)的數(shù)據(jù)。所以分區(qū)實際上是調優(yōu)Kafka并行度的大于單元。

這對producer而言，它雖然是用多個線程并發(fā)地向差別分區(qū)原先的broker發(fā)起Socket直接連接同時給這些分區(qū)發(fā)送的消息；而consumer，同一個消費組內的所有consumer線程都被指定你topic的某一個硬盤分區(qū)進行消費。

學習大數(shù)據(jù)難嗎？

在學習之前，簡單確定的并非難不是很難，只不過是肯定咋把英語學好的問題。學習大數(shù)據(jù)給幾點建議：

1.重要完全掌握大數(shù)據(jù)體系的架構和原理，比如說：分布式存儲和算出的思想

2.大數(shù)據(jù)框架的體系，例如：hadoop，spark等等

3.多嘗試著做實驗，也多問問看有經(jīng)驗的人。

只需有信心，而且一定要堅持，當然是可以想學好。

kafka為什么適合日志處理？

Kafka天生為吞吐量而設計什么的，kafka集群中topic在是有數(shù)量的情況下哪怕會有洗技能寫，但磁盤的利用率高于500rocketmq；消息發(fā)送端按結構雙端隊列，消息發(fā)送中完全天然支持批處理；在我們公司投入到6臺256G，32C，8T的SSDkafka集群的吞吐量3百多萬TPS，而rocketmq只有幾十萬TPS

kafka的分片數(shù)怎么確定？

分區(qū)數(shù)Tt/max(Tp,Tc)

Tp來表示producer的吞吐量。測試producer常見是非常容易的，只不過它的邏輯更加很簡單，那就是就接受消息到Kafka就再說。Tc可以表示consumer的吞吐量。測試Tc通常與應用的關系更大，是因為Tc的值取決于它你搞到消息之后不能執(zhí)行什么操作，因此Tc的測試大多數(shù)也要麻煩一些?？偟哪繕送掏铝渴荰t

Kafka，Mq和Redis作為消息隊列使用時的差異有哪些？

Kafka充當?shù)?代的消息系統(tǒng)，mq是都很能成熟消息系統(tǒng)，而redis也也可以查找訂閱，這樣的話這三者試述？

RabbitMQ是使用Erlang匯編語言的一個開源的消息隊列，本身支持什么很多的協(xié)議：AMQP，XMPP,SMTP,STOMP，也正是如此，使的它變的非常超級重量級，更比較適合于企業(yè)級的開發(fā)。同時利用了一個經(jīng)紀人(Broker)構架，這意味著消息在發(fā)送給客戶端時先在中門口排隊。對路由(Routing)，負載均衡(Loadbalance)或是數(shù)據(jù)自然持久化都是很好的支持。

Redis是一個Key-Value的NoSQL數(shù)據(jù)庫，開發(fā)程序維護很異?；钴S，可是它是一個Key-Value數(shù)據(jù)庫存儲系統(tǒng)，但它本身接受MQ功能，因為完全是可以只不過是一個輕量級的隊列服務來不使用。是對RabbitMQ和Redis的入隊和出隊操作，各不能執(zhí)行100萬次，每10萬次記錄兩次負責執(zhí)行時間。測試數(shù)據(jù)統(tǒng)稱128Bytes、512Bytes、1K和10K四個差別大小的數(shù)據(jù)。實驗表明：入隊時，當數(shù)據(jù)比較好小時Redis的性能要低于RabbitMQ，而如果數(shù)據(jù)大小將近了10K，Redis則慢的不能不能忍受；出隊時，無論數(shù)據(jù)大小，Redis都表現(xiàn)出出非常好的性能，而RabbitMQ的出隊性能則遠低于Redis。

KafkaKafka是Apache下的一個子項目，是一個集高性能跨語言分布式Publish/Subscribe消息隊列系統(tǒng)，而Jafka是在Kafka之上孵化而來的，即Kafka的一個升級版。本身以下特性：飛快自然持久化，可以不在O(1)的系統(tǒng)開銷下參與消息不易脫妝化；高吞吐，在一臺普通的服務器上既可以至少10W/s的吞吐速率；已經(jīng)的分布式系統(tǒng)，Broker、Producer、Consumer都原生自動啟動接受分布式，不自動實現(xiàn)方法急切均衡；意見Hadoop數(shù)據(jù)分頭并進加載，是對像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又具體的要求動態(tài)實時一次性處理的限制，這是一個看似可行的解決方案。Kafka通過Hadoop的并行加載機制來統(tǒng)一了在線和離線模式的消息處理，這一點也本課題所研究系統(tǒng)所看重的。ApacheKafka對于ActiveMQ是一個太古爾科夫的消息系統(tǒng)，以外性能更加好之外，那就一個工作良好的道德的分布式系統(tǒng)。

差別不大MQ與Kafka1)在架構模型方面

RabbitMQ按照AMQP協(xié)議，RabbitMQ的broker由Exchange,Binding,queue排成，其中exchange和binding橫列了消息的路由鍵；客戶端Producer實際連接channel和server通過通信，Consumer從queue聲望兌換消息并且消費（長連接上，queue有消息會推送回consumer端，consumer非循環(huán)從再輸入流讀取數(shù)據(jù)）。rabbitMQ以broker為中心；有消息的確認機制。

kafka恪遵象的MQ結構，producer，broker，consumer，以consumer為中心，消息的消費信息需要保存的客戶端consumer上，consumer據(jù)銷費的點，從broker上批量pull數(shù)據(jù)；無消息去確認機制。

2)在吞吐量

kafka本身高的吞吐量，內部按結構消息的批量處理，zero-全部復制機制，數(shù)據(jù)的存儲和某些是本地磁盤順序批量操作，具備O(1)的緊張度，消息如何處理的效率很高。

rabbitMQ在吞吐量方面稍遜于kafka，他們的出發(fā)點都一樣，rabbitMQ接受對消息的可信的傳遞，意見事務，不允許批量的操作；基于組件存儲的可靠性的要求存儲可以不常規(guī)內存的或硬盤。

3)在可用性方面，

rabbitMQ支持miror的queue，主queue終止，mirorqueue接管。