docker怎樣部署hadoop集群？Docker提供了隔離和打包Hadoop相關(guān)應(yīng)用程序的完美方法。該公司還研究了slider框架和docker如何協(xié)同工作以簡化此類部署。目前，hortonwork

docker怎樣部署hadoop集群？

Docker提供了隔離和打包Hadoop相關(guān)應(yīng)用程序的完美方法。

該公司還研究了slider框架和docker如何協(xié)同工作以簡化此類部署。目前，hortonworks的一個客戶正在考慮在自己的數(shù)據(jù)平臺上使用HDP來支持docker的方法。他們使用cloudbreak在云中的docker容器中部署Hadoop，并計(jì)劃將自己的數(shù)據(jù)應(yīng)用程序制作成docker映像，在yarn上運(yùn)行。此外，由于其靈活性和兼容性，許多用戶使用它在未知環(huán)境中進(jìn)行部署。

做網(wǎng)站的話，是直接買一個獨(dú)立服務(wù)器好，還是購買一個云主機(jī)？

從你的問題的數(shù)量級來看，你應(yīng)該從0到1制作一個小網(wǎng)站。

如果是，建議購買虛擬機(jī)。

經(jīng)過多年的發(fā)展，虛擬機(jī)業(yè)務(wù)已經(jīng)相當(dāng)成熟，價(jià)格和配置的選擇也相當(dāng)靈活。這非常適合從0構(gòu)建網(wǎng)站的需要。早期的站點(diǎn)更多的是構(gòu)建、調(diào)試、在線試用、不斷試錯。在這個過程中，虛擬機(jī)不需要投入太多的配置和帶寬。夠了就好了；從這個角度看，虛擬機(jī)的價(jià)格定位更靈活，性價(jià)比更高。

虛擬機(jī)由7niu、阿里云等專業(yè)供應(yīng)商提供。這些供應(yīng)商擁有成熟的監(jiān)控、服務(wù)器運(yùn)維服務(wù)。你為虛擬機(jī)支付的年費(fèi)實(shí)際上包括了這部分服務(wù)。

另外，目前的虛擬機(jī)部署具有相對自動化的部署功能，以及完善的監(jiān)控日志等功能，可以滿足傳統(tǒng)意義上虛擬機(jī)的所有需求。

小到12306，小到一兩個人的小公司都采用虛擬機(jī)的方式來部署和運(yùn)營自己的產(chǎn)品和網(wǎng)站。這是大勢所趨，無數(shù)的案例證明了虛擬機(jī)的靈活性、資源管理和標(biāo)準(zhǔn)化服務(wù)的優(yōu)勢。

如何為Hadoop集群選擇正確的硬件？

Hadoop是一個運(yùn)行在集群環(huán)境中的大數(shù)據(jù)框架，包括分布式存儲和分布式計(jì)算。

Hadoop流行的一個重要原因是它不需要很高的硬件，通常超過8g的內(nèi)存可以運(yùn)行Hadoop。許多研究Hadoop的程序員從部署偽集群開始，這表明Hadoop對硬件的要求非常低。但要想順利運(yùn)行Hadoop，其中一個關(guān)鍵點(diǎn)是增加內(nèi)存和使用超過i5cpu。

Hadoop對內(nèi)存和CPU的要求非常敏感。如果使用spark，建議內(nèi)存大于32g，否則處理速度會受到很大影響，因?yàn)閟park是基于內(nèi)存的。

Hadoop是學(xué)習(xí)階段的選擇。商業(yè)大數(shù)據(jù)平臺一般會在Hadoop的基礎(chǔ)上進(jìn)行打包，或者選擇成熟的商業(yè)大數(shù)據(jù)平臺。由于Hadoop的部署和操作維護(hù)比較麻煩，商業(yè)平臺通常比較完善，使用起來也比較方便。

三臺筆記本可以搭建hadoop集群嗎？

docker的核心功能之一是能夠?qū)⑷魏螒?yīng)用程序（包括Hadoop）打包到docker映像中。

本教程介紹使用docker在一臺機(jī)器上快速構(gòu)建多節(jié)點(diǎn)Hadoop群集的詳細(xì)步驟。在發(fā)現(xiàn)當(dāng)前Hadoop-on-docker項(xiàng)目中存在的問題之后，作者開發(fā)了一個幾乎最小化的Hadoop映像