如何為Hadoop集群選擇正確的硬件？Hadoop是一個(gè)運(yùn)行在集群環(huán)境下的大數(shù)據(jù)框架，包含分布式存儲(chǔ)和分布式計(jì)算兩個(gè)大的部分。Hadoop之所以流行一個(gè)重要原因是它對(duì)硬件的要求不高，通常8G以上的內(nèi)存

如何為Hadoop集群選擇正確的硬件？

Hadoop是一個(gè)運(yùn)行在集群環(huán)境下的大數(shù)據(jù)框架，包含分布式存儲(chǔ)和分布式計(jì)算兩個(gè)大的部分。

Hadoop之所以流行一個(gè)重要原因是它對(duì)硬件的要求不高，通常8G以上的內(nèi)存就可以運(yùn)行Hadoop了。很多學(xué)習(xí)Hadoop的程序員都是從部署偽集群開(kāi)始的，可見(jiàn)Hadoop對(duì)硬件的要求非常低。但是要想流暢運(yùn)行Hadoop一個(gè)重點(diǎn)就是加大內(nèi)存、使用i5以上的cpu。

Hadoop對(duì)內(nèi)存和cpu的要求比較敏感，如果使用Spark那么內(nèi)存推薦在32G以上，否則處理速度會(huì)受到很大影響，因?yàn)镾park是基于內(nèi)存進(jìn)行運(yùn)算的。

Hadoop是學(xué)習(xí)階段的選擇，通常商用大數(shù)據(jù)平臺(tái)都會(huì)在Hadoop基礎(chǔ)上做封裝，或是選用成熟的商用大數(shù)據(jù)平臺(tái)。因?yàn)镠adoop部署和運(yùn)維都比較麻煩，商用平臺(tái)通常都會(huì)做的比較完善和方便使用。