如何為Hadoop集群選擇正確的硬件？Hadoop是一個(gè)運(yùn)行在集群環(huán)境中的大數(shù)據(jù)框架，包括分布式存儲(chǔ)和分布式計(jì)算。Hadoop流行的一個(gè)重要原因是它不需要很高的硬件，通常超過8g的內(nèi)存可以運(yùn)行Hado

如何為Hadoop集群選擇正確的硬件？

Hadoop是一個(gè)運(yùn)行在集群環(huán)境中的大數(shù)據(jù)框架，包括分布式存儲(chǔ)和分布式計(jì)算。

Hadoop流行的一個(gè)重要原因是它不需要很高的硬件，通常超過8g的內(nèi)存可以運(yùn)行Hadoop。許多研究Hadoop的程序員從部署偽集群開始，這表明Hadoop對(duì)硬件的要求非常低。但要想順利運(yùn)行Hadoop，其中一個(gè)關(guān)鍵點(diǎn)是增加內(nèi)存和使用超過i5cpu。

Hadoop對(duì)內(nèi)存和CPU的要求非常敏感。如果使用spark，建議內(nèi)存大于32g，否則處理速度會(huì)受到很大影響，因?yàn)閟park是基于內(nèi)存的。

Hadoop是學(xué)習(xí)階段的選擇。商業(yè)大數(shù)據(jù)平臺(tái)一般會(huì)在Hadoop的基礎(chǔ)上進(jìn)行打包，或者選擇成熟的商業(yè)大數(shù)據(jù)平臺(tái)。由于Hadoop的部署和操作維護(hù)比較麻煩，商業(yè)平臺(tái)通常比較完善，使用起來也比較方便。

docker怎樣部署hadoop集群？

Docker提供了隔離和打包Hadoop相關(guān)應(yīng)用程序的完美方法。

該公司還研究了slider框架和docker如何協(xié)同工作以簡化此類部署。目前，hortonworks的一個(gè)客戶正在考慮在自己的數(shù)據(jù)平臺(tái)上使用HDP來支持docker的方法。他們使用cloudbreak在云中的docker容器中部署Hadoop，并計(jì)劃將自己的數(shù)據(jù)應(yīng)用程序制作成docker映像，在yarn上運(yùn)行。此外，由于其靈活性和兼容性，許多用戶使用它在未知環(huán)境中進(jìn)行部署。