Hadoop是什么？Hadoop是由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開發(fā)分布式程序，而不需要了解分布式的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速計(jì)算和存儲(chǔ)。Hadoop框架的核心設(shè)計(jì)是

Hadoop是什么？

Hadoop是由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開發(fā)分布式程序，而不需要了解分布式的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速計(jì)算和存儲(chǔ)。

Hadoop框架的核心設(shè)計(jì)是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲(chǔ)，MapReduce為海量數(shù)據(jù)提供計(jì)算。

hadoop到底是什么？

Hadoop細(xì)分為兩個(gè)部分，一個(gè)是HDFS，這是一個(gè)分布式文件系統(tǒng)，包含NameNode和DataNode，用于存儲(chǔ)pb級(jí)的數(shù)據(jù)。它的特點(diǎn)是體積大，可以部署到前臺(tái)和前臺(tái)的數(shù)萬臺(tái)機(jī)器上進(jìn)行存儲(chǔ)。另一部分是MapReduce，是一個(gè)離線數(shù)據(jù)分析的計(jì)算框架，Rarn是一個(gè)資源管理類和任務(wù)調(diào)度器，用于管理和調(diào)度程序，包括但不限于MapReduce，也可以運(yùn)行Spark等。

下面是生態(tài)系統(tǒng)。hadoop生態(tài)系統(tǒng)還包括spark、flume、hbase、kakfa等等。

hadoop是一種什么技術(shù)？

Hadoop是一個(gè)軟件框架，可以分布式處理大量數(shù)據(jù)。用戶可以在Hadoop上輕松開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用，充分利用集群的力量進(jìn)行高速計(jì)算和存儲(chǔ)。

如何使用Hadoop:

構(gòu)建Hadoop集群

簡(jiǎn)單來說，把Hadoop安裝包放在每臺(tái)服務(wù)器上，更改配置后重新啟動(dòng)，Hadoop集群就搭建好了。

將文件上傳到Hadoop集群

Hadoop集群設(shè)置完成后，可以通過網(wǎng)頁查看集群的情況，通過Hadoop命令上傳文件到hdfs集群，通過Hadoop命令在hdfs集群上建立目錄，通過Hadoop命令刪除集群上的文件等等。

編寫map/reduce程序

通過集成開發(fā)工具(如eclipse)導(dǎo)入Hadoop相關(guān)的jar包，編寫map/reduce程序，將程序扔到集群上的jar包中執(zhí)行。運(yùn)行后，得到了計(jì)算結(jié)果。

hadoop生態(tài)系統(tǒng)中每個(gè)組件的角色描述：

hdfs:可以存儲(chǔ)海量數(shù)據(jù)的文件系統(tǒng)。

mapreduce:通過一定的算法從海量數(shù)據(jù)中計(jì)算出有用的信息。

hive:是sql語句解釋器，接收用戶輸入的sql語句，然后將sql語句翻譯成復(fù)雜的mapreduce程序，發(fā)布到mr集群運(yùn)行，從而計(jì)算出有用的信息。

hbase:基于hdfs文件系統(tǒng)的數(shù)據(jù)庫(kù)。

flume:就是把一個(gè)文件中的數(shù)據(jù)提取到另一個(gè)文件中。

sqoop:將hdfs文件系統(tǒng)的文件導(dǎo)出到linux文件系統(tǒng)的文件。

ooize/azkaban:該組件負(fù)責(zé)協(xié)調(diào)各種任務(wù)的執(zhí)行順序。