kafka日志存儲詳解？Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java匯編語言。Kafka是一種高吞吐量的分布式公告訂閱消息系統(tǒng)，它也可以全面處理消費者規(guī)模的網(wǎng)站

kafka日志存儲詳解？

Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java匯編語言。

Kafka是一種高吞吐量的分布式公告訂閱消息系統(tǒng)，它也可以全面處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。

這種動作（網(wǎng)頁瀏覽，搜索和其他用戶的行動）是在在現(xiàn)代網(wǎng)絡上的許多社會功能的一個關鍵因素。

這些數(shù)據(jù)大多是而吞吐量的要求而處理日志和日志聚合來幫忙解決。

這對像Hadoop完全不一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又具體的要求實時動態(tài)處理的限制，這是個看似可行的解決方案。

Kafka的目的是的并行運行程序機制來統(tǒng)一線上和自動更新的消息處理，又是為了按照集群來提供給實時的消息。

kafka數(shù)據(jù)積壓問題如何解決？

可以是從100元以內(nèi)幾個方面：必須會減少數(shù)據(jù)生產(chǎn)，其次增加數(shù)據(jù)存放周期，從默認的7天中改1天，結果停止并發(fā)消費數(shù)據(jù)。

kafka的文件存儲機制？

Kafka中消息是以topic參與分類的，生產(chǎn)者生產(chǎn)消息，消費者消費消息，全是再朝topic的。

topic是邏輯上的概念，而partition是物理上的概念，每個partition不對應于一個log文件，該log文件中存儲的就是producer成產(chǎn)的數(shù)據(jù)。

Producer成產(chǎn)的數(shù)據(jù)會被斷的追加懸賞到該log文件末端，且每條數(shù)據(jù)都是自己的offset。消費者組中的每個消費者，都會動態(tài)實時資料記錄自己消費到了哪個offset，以備萬一程序出錯重新恢復時，從那次的位置再怎么消費。

為何使用kafka和flume？

Flume：管道----個人認為也很比較適合有多個生產(chǎn)者場景，或是有寫入文件Hbase、HDFS和kafka需求的場景。

Kafka：消息隊列-----因此Kafka是Pull模式，所以合適有多個消費者的場景。

目前應用場景，一臺日志微博轉(zhuǎn)發(fā)機共同負責出現(xiàn)日志。后端是需要消費日志信息，建議您可以不可以設置成log--gtKafka-gtStrom.要是以后有寫入文件Hbase也可以HDFS的需求是可以，在Kafka后面再接上Strom，或者在日志點贊和評論機上就日志落地之前，由Flume去加載日志消息。