如何為Hadoop集群選擇正確的硬件？Hadoop是一個運行在集群環(huán)境下的大數(shù)據(jù)框架，包含分布式存儲和分布式計算兩個大的部分。Hadoop之所以流行一個重要原因是它對硬件的要求不高，通常8G以上的內(nèi)存

如何為Hadoop集群選擇正確的硬件？

Hadoop是一個運行在集群環(huán)境下的大數(shù)據(jù)框架，包含分布式存儲和分布式計算兩個大的部分。

Hadoop之所以流行一個重要原因是它對硬件的要求不高，通常8G以上的內(nèi)存就可以運行Hadoop了。很多學(xué)習(xí)Hadoop的程序員都是從部署偽集群開始的，可見Hadoop對硬件的要求非常低。但是要想流暢運行Hadoop一個重點就是加大內(nèi)存、使用i5以上的cpu。

Hadoop對內(nèi)存和cpu的要求比較敏感，如果使用Spark那么內(nèi)存推薦在32G以上，否則處理速度會受到很大影響，因為Spark是基于內(nèi)存進行運算的。

Hadoop是學(xué)習(xí)階段的選擇，通常商用大數(shù)據(jù)平臺都會在Hadoop基礎(chǔ)上做封裝，或是選用成熟的商用大數(shù)據(jù)平臺。因為Hadoop部署和運維都比較麻煩，商用平臺通常都會做的比較完善和方便使用。