如何設(shè)計(jì)日志采集存儲(chǔ)分析的架構(gòu)？Flume最初是cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個(gè)孵化項(xiàng)目。Flume支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送器來(lái)收集數(shù)據(jù)。同時(shí)，flume提供了簡(jiǎn)

如何設(shè)計(jì)日志采集存儲(chǔ)分析的架構(gòu)？

Flume最初是cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個(gè)孵化項(xiàng)目。Flume支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送器來(lái)收集數(shù)據(jù)。同時(shí)，flume提供了簡(jiǎn)單處理數(shù)據(jù)和向各種數(shù)據(jù)接收器寫(xiě)入數(shù)據(jù)的能力（可定制）flume提供了從數(shù)據(jù)源（如console、RPC、text、tail、syslog和exec）收集數(shù)據(jù)的能力。Flume使用多主方法。為了保證配置數(shù)據(jù)的一致性，flume引入zookeeper來(lái)保存配置數(shù)據(jù)。Zookeeper本身可以保證配置數(shù)據(jù)的一致性和高可用性。此外，當(dāng)配置數(shù)據(jù)發(fā)生變化時(shí)，zookeeper可以通知flume master節(jié)點(diǎn)。Flume主機(jī)使用八卦協(xié)議來(lái)同步數(shù)據(jù)。Flume是一個(gè)分布式的、可靠的、高可用性的海量日志聚合系統(tǒng)，它支持系統(tǒng)中各種數(shù)據(jù)發(fā)送者的定制來(lái)收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供了簡(jiǎn)單處理數(shù)據(jù)和向各種數(shù)據(jù)接收者寫(xiě)入數(shù)據(jù)的能力（可定制）。設(shè)計(jì)目標(biāo)：（1）可靠性（2）可擴(kuò)展性（3）可管理性（4）功能可擴(kuò)展性

程序員的概念在當(dāng)今社會(huì)非常普遍。它是時(shí)代創(chuàng)造的，也是一種潮流?？茖W(xué)技術(shù)是第一生產(chǎn)力，因?yàn)檫@個(gè)行業(yè)在這個(gè)社會(huì)里蘊(yùn)含了太多人的深厚技能，而不僅僅是代碼編寫(xiě)、思維能力、行為模式等。從房東提出的問(wèn)題可以預(yù)見(jiàn)，房東對(duì)這個(gè)職業(yè)了解不多。

那么我就從賺錢(qián)的角度（這可能是大多數(shù)人最關(guān)心的）告訴你前端和后端的利弊。

協(xié)調(diào)：北京（因?yàn)槲抑恢肋@一點(diǎn)，所以我也建議我年輕的時(shí)候，應(yīng)該在性?xún)r(jià)比更高的一線(xiàn)城市做程序員）。眾生——不是那么勤勞，也不是太有天賦：從入職到轉(zhuǎn)行，我基本上處于中等水平（或者可能是初級(jí)），程序員職業(yè)的工資在8-15k之間（不包括福利），在中等水平這個(gè)水平的學(xué)生，前面沒(méi)有什么區(qū)別而在后臺(tái)，他們中的大多數(shù)人都在寫(xiě)業(yè)務(wù)或申請(qǐng)，他們中的大多數(shù)人都是為了運(yùn)氣而面試。如果他們是幸運(yùn)的，他們有一個(gè)低水平和高工資，但他們不是幸運(yùn)的，相反；

2。進(jìn)取型-非常勤奮，而且他們沒(méi)有太高的天賦：

這里我給出了“勤奮”的定義，即在整個(gè)程序員的職業(yè)生涯中不斷學(xué)習(xí)；

在這里每個(gè)間隔基本上都會(huì)達(dá)到準(zhǔn)高級(jí)的階段，而且很有可能成為高級(jí)。薪水大概在2.5-3萬(wàn)之間，大多數(shù)能堅(jiān)持到這個(gè)階段的人都會(huì)有堅(jiān)持下去的理由，比如喜歡、愛(ài)、被生活所迫等等。在這種情況下，后端比前端更重要，因?yàn)楫?dāng)東西稀缺時(shí)，它總是很昂貴的。當(dāng)一個(gè)公司衡量一個(gè)人的工資時(shí)，它總是從稀缺性和不可替代性的角度來(lái)考慮支付多少。其他人的孩子-既有天賦又勤奮：

現(xiàn)階段的工資約為3-5萬(wàn)，因此我們不能僅從以前的后端角度看待這一職業(yè)?；旧鲜菨M(mǎn)堆的。這是基于默認(rèn)情況下，你沒(méi)有問(wèn)題寫(xiě)業(yè)務(wù)。在架構(gòu)方面，訪(fǎng)談主要集中在算法、優(yōu)化、兼容性、底層等方面。所以在這個(gè)階段，我們應(yīng)該有能力成為許多事情的專(zhuān)家；

4。剩下的部分-請(qǐng)?jiān)徫覜](méi)有總結(jié)這種人，因?yàn)槲蚁氩怀鋈魏卧~來(lái)形容他們：

跳過(guò)它。。我對(duì)他們也不是很熟悉。它們基本上與我的代碼世界是平行的；

總而言之，如果我們簡(jiǎn)單地混淆，我們可以看到哪一個(gè)容易開(kāi)始，我們推薦前端。畢竟，閾值很低，單位時(shí)間早期的加速度很高。如果我們想有一個(gè)長(zhǎng)遠(yuǎn)的計(jì)劃，在這個(gè)時(shí)代，我們必須精通多種能力。無(wú)論我們專(zhuān)攻前端還是后端，在一定程度上，我們都是神。