如何設(shè)計日志采集存儲分析的架構(gòu)？Flume最初是cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個孵化項目。Flume支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送器來收集數(shù)據(jù)。同時，flume提供了簡

如何設(shè)計日志采集存儲分析的架構(gòu)？

Flume最初是cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個孵化項目。Flume支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送器來收集數(shù)據(jù)。同時，flume提供了簡單處理數(shù)據(jù)和向各種數(shù)據(jù)接收器寫入數(shù)據(jù)的能力（可定制）flume提供了從數(shù)據(jù)源（如console、RPC、text、tail、syslog和exec）收集數(shù)據(jù)的能力。Flume使用多主方法。為了保證配置數(shù)據(jù)的一致性，flume引入zookeeper來保存配置數(shù)據(jù)。Zookeeper本身可以保證配置數(shù)據(jù)的一致性和高可用性。此外，當(dāng)配置數(shù)據(jù)發(fā)生變化時，zookeeper可以通知flume master節(jié)點。Flume主機使用八卦協(xié)議來同步數(shù)據(jù)。Flume是一個分布式的、可靠的、高可用性的海量日志聚合系統(tǒng)，它支持系統(tǒng)中各種數(shù)據(jù)發(fā)送者的定制來收集數(shù)據(jù)；同時，F(xiàn)lume提供了簡單處理數(shù)據(jù)和向各種數(shù)據(jù)接收者寫入數(shù)據(jù)的能力（可定制）。設(shè)計目標(biāo)：（1）可靠性（2）可擴展性（3）可管理性（4）功能可擴展性

程序員的概念在當(dāng)今社會非常普遍。它是時代創(chuàng)造的，也是一種潮流?？茖W(xué)技術(shù)是第一生產(chǎn)力，因為這個行業(yè)在這個社會里蘊含了太多人的深厚技能，而不僅僅是代碼編寫、思維能力、行為模式等。從房東提出的問題可以預(yù)見，房東對這個職業(yè)了解不多。

那么我就從賺錢的角度（這可能是大多數(shù)人最關(guān)心的）告訴你前端和后端的利弊。

協(xié)調(diào)：北京（因為我只知道這一點，所以我也建議我年輕的時候，應(yīng)該在性價比更高的一線城市做程序員）。眾生——不是那么勤勞，也不是太有天賦：從入職到轉(zhuǎn)行，我基本上處于中等水平（或者可能是初級），程序員職業(yè)的工資在8-15k之間（不包括福利），在中等水平這個水平的學(xué)生，前面沒有什么區(qū)別而在后臺，他們中的大多數(shù)人都在寫業(yè)務(wù)或申請，他們中的大多數(shù)人都是為了運氣而面試。如果他們是幸運的，他們有一個低水平和高工資，但他們不是幸運的，相反；

2。進(jìn)取型-非常勤奮，而且他們沒有太高的天賦：

這里我給出了“勤奮”的定義，即在整個程序員的職業(yè)生涯中不斷學(xué)習(xí)；

在這里每個間隔基本上都會達(dá)到準(zhǔn)高級的階段，而且很有可能成為高級。薪水大概在2.5-3萬之間，大多數(shù)能堅持到這個階段的人都會有堅持下去的理由，比如喜歡、愛、被生活所迫等等。在這種情況下，后端比前端更重要，因為當(dāng)東西稀缺時，它總是很昂貴的。當(dāng)一個公司衡量一個人的工資時，它總是從稀缺性和不可替代性的角度來考慮支付多少。其他人的孩子-既有天賦又勤奮：

現(xiàn)階段的工資約為3-5萬，因此我們不能僅從以前的后端角度看待這一職業(yè)?；旧鲜菨M堆的。這是基于默認(rèn)情況下，你沒有問題寫業(yè)務(wù)。在架構(gòu)方面，訪談主要集中在算法、優(yōu)化、兼容性、底層等方面。所以在這個階段，我們應(yīng)該有能力成為許多事情的專家；

4。剩下的部分-請原諒我沒有總結(jié)這種人，因為我想不出任何詞來形容他們：

跳過它。。我對他們也不是很熟悉。它們基本上與我的代碼世界是平行的；

總而言之，如果我們簡單地混淆，我們可以看到哪一個容易開始，我們推薦前端。畢竟，閾值很低，單位時間早期的加速度很高。如果我們想有一個長遠(yuǎn)的計劃，在這個時代，我們必須精通多種能力。無論我們專攻前端還是后端，在一定程度上，我們都是神。