Hadoop生態(tài)系統(tǒng)及各模塊的功能？1.HDFS(Hadoop分布式文件系統(tǒng))HDFS是Hadoop生態(tài)體系中能提供分布式儲存支持什么的電腦系統(tǒng)，地上層的很多計(jì)算出框架(Hbase、Spark等)都依

Hadoop生態(tài)系統(tǒng)及各模塊的功能？

1.HDFS(Hadoop分布式文件系統(tǒng))

HDFS是Hadoop生態(tài)體系中能提供分布式儲存支持什么的電腦系統(tǒng)，地上層的很多計(jì)算出框架(Hbase、Spark等)都依賴感于HDFS存儲位置。

(大規(guī)模計(jì)算整體模型)離線計(jì)算出

何為離線狀態(tài)換算，總之就無關(guān)實(shí)時數(shù)據(jù)分析。

3.Yarn(分布式打開資源管理器)

Yarn的直接出現(xiàn)通常那是為了可以解決上古時代Hadoop可擴(kuò)展性極差、不意見功能高效計(jì)算出三維圖的問題很簡單。

4.Spark(顯卡內(nèi)存計(jì)算)

Spark提供了電腦內(nèi)存中的分布式計(jì)算那種能力，相比現(xiàn)代的MapReduce智能分析效率更高、運(yùn)行更快。

5.HBase(分布式列讀取數(shù)據(jù)庫數(shù)據(jù))

Hbase能繼承了列儲存的種族特性，它的很合適需對你的數(shù)據(jù)接受必掉讀、寫能操作。其次，Hbase形成完整在HDFS之上，其內(nèi)部管理的文件徹底存儲在HDFS中。這使它具有水平距離冗余性和擴(kuò)展性，并支持什么Hadoopmapreduce計(jì)算機(jī)編程三維圖。

(數(shù)倉)

7.Oozie(部署流程指揮和調(diào)度器)

Oozie是個基于組件工作流引擎系統(tǒng)的指揮和調(diào)度器，它不過是兩個不運(yùn)行在JavaServlet密封容器(如Tomcat)中的Javas用戶控件應(yīng)用到，你也可以在它上有啟動Hadoop的MapReduce和Pig等主線任務(wù)，。

8.Sqoop與Pig

9.Flume(看日志抽取其它工具)

Flume是將那些數(shù)據(jù)從才能產(chǎn)生、傳送數(shù)據(jù)、去處理并最終讀取目標(biāo)選擇路徑的二元一次方程的解抽象化為流量日志，在具體詳細(xì)的數(shù)據(jù)路由中，數(shù)據(jù)源接受在Flume中個性定制那些數(shù)據(jù)發(fā)送方，進(jìn)而支持什么積攢眾多有所不同協(xié)議書什么數(shù)據(jù)。

10.Kafka(分布式消息隊(duì)列)

Kafka是Apache內(nèi)部下的三個開源代碼系統(tǒng)吧，它的大的種族特性應(yīng)該是是可以動態(tài)實(shí)時的一次性處理大量你的數(shù)據(jù)以行最簡形矩陣特殊產(chǎn)品需求場景一：諸如設(shè)計(jì)和實(shí)現(xiàn)Hadoop那個平臺的數(shù)據(jù)的分析、低時延的動態(tài)實(shí)時系統(tǒng)吧、Storm/Spark實(shí)時數(shù)據(jù)處理處理引擎等。Kafka現(xiàn)在它已被六十多家規(guī)模很大什么公司以及多種什么類型的那些數(shù)據(jù)水管和收到消息系統(tǒng)后可以使用。

11.ZooKeeper(分布式數(shù)據(jù)協(xié)同合作.服務(wù))

簡單通俗的講，ZooKeeper等同于另一個調(diào)節(jié)矛盾的建立角色，如果倆人彼此間發(fā)生了一些復(fù)雜的關(guān)系的或問題，難以一一解決的辦法的話，而現(xiàn)在就必須ZooKeeper這些傳話筒內(nèi)中通過自行調(diào)解，而和事老自行調(diào)解的目的是站在作為第三方公正客觀的角度，參照一些規(guī)則(如道德規(guī)范宇宙的規(guī)則、法律方面宇宙的規(guī)則)，絕對客觀的對問題任何一方做出合理不、合規(guī)化的判決。

(大數(shù)據(jù)自動化運(yùn)維)

Ambari是另一個大數(shù)據(jù)應(yīng)用基礎(chǔ)基礎(chǔ)系統(tǒng)運(yùn)維那個平臺，它實(shí)現(xiàn)了Hadoop生態(tài)閉環(huán)眾多組件的機(jī)械自動化作戰(zhàn)部署、管理服務(wù)工作和監(jiān)控頭故障告警，Ambari通過azkaban實(shí)現(xiàn)方法機(jī)電一體化按裝和配置一般，是從Ganglia積攢視頻監(jiān)視心胸氣量其它指標(biāo)，用Nagios實(shí)現(xiàn)方法故障警報。

學(xué)習(xí)大數(shù)據(jù)需要什么基礎(chǔ)？

大數(shù)據(jù)技術(shù)要開發(fā)完畢基本功，比如python編程語言，實(shí)際編寫程序要直接抓取什么數(shù)據(jù)?？隙〞岸瞬糠忠热缯fHtml，jscript，將直接抓取的數(shù)據(jù)的融合后是從尾部去可以展示。因?yàn)槲矣X著去學(xué)習(xí)一門的新高級語言是必須的。