hadoop完全分布式和偽分布式有什么不同？首先回答您的問題：Hadoop完全分布式：由三個或更多物理或虛擬機(jī)組件組成的集群。Hadoop pseudo-distributed:a node看了以上兩

hadoop完全分布式和偽分布式有什么不同？

首先回答您的問題：

Hadoop完全分布式：由三個或更多物理或虛擬機(jī)組件組成的集群。

Hadoop pseudo-distributed:a node

看了以上兩點(diǎn)，相信大家已經(jīng)明白了“在VM中安裝更多unbuntu配置完全分布式，然后做實(shí)驗(yàn)”是完全可行的。事實(shí)上，我們通常也是這樣做的。當(dāng)然，我們可能需要您的計(jì)算機(jī)CPU和內(nèi)存來支持您的計(jì)劃。

一個建議：如果你想開發(fā)基于Hadoop的分布式程序，那么偽分布式就足夠了。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建議你安裝多個虛擬機(jī)。

什么是集群，分布式，集中式，偽分布式？

將項(xiàng)目集中部署到同一臺機(jī)器需要高性能的機(jī)器。通常，多臺機(jī)器用于備份。否則，如果機(jī)器崩潰，整個項(xiàng)目將無法運(yùn)行。雷格：就好像你要蓋房子，你的房子是為一個人蓋的。如果這個人生病或有事可做，沒有合適的人來代替這個人，你就不能蓋房子。R 2。分布式項(xiàng)目被分成幾個部分，分別在不同的機(jī)器上運(yùn)行。如果您想與集中式相比，您對機(jī)器的要求會更低。R 3。集群與集中式和分布式概念完全不同。Rdistribution必須是集群，但集群不一定是分布式的（例如：集中式多機(jī)備份）。集群只是一個與機(jī)器數(shù)量相關(guān)的概念。偽分布不是真正的分布。偽分發(fā)是把多態(tài)機(jī)器的任務(wù)放在一臺機(jī)器上運(yùn)行，例如：淘寶分成多個模塊后，一個模塊放在一臺機(jī)器上運(yùn)行。當(dāng)多臺機(jī)器同時運(yùn)行時，速度很快。在一臺機(jī)器上運(yùn)行時，速度慢，多個模塊不能并行處理。一個任務(wù)必須一個接一個地完成，其他任務(wù)只能等待。

什么是偽分布式？（hadoop中遇到的）？

Hadoop分為獨(dú)立模式、偽分布式模式和完全分布式模式。當(dāng)你說偽分布式的時候，你的意思是：在一臺機(jī)器上，也就是說，作為一個namenode，一個datanode，或者一個job tracker，以及一個task tracker。在多臺機(jī)器上沒有真正的分布式計(jì)算，因此被稱為“偽分布式”。

小白怎么學(xué)習(xí)java？

Java是一種面向?qū)ο蟮木幊陶Z言，可以編寫跨平臺的應(yīng)用程序。它具有出色的通用性、高效性、平臺可移植性和安全性。它廣泛應(yīng)用于個人電腦、數(shù)據(jù)中心和游戲機(jī)，也是大型開發(fā)人員的專業(yè)社區(qū)。為了學(xué)好java，我建議您參考以下幾點(diǎn)。

1. 學(xué)好基本語法，明確Java的特點(diǎn)。學(xué)習(xí)java語言就是學(xué)習(xí)語法、函數(shù)、結(jié)構(gòu)等，根據(jù)java語法編寫代碼。語法是學(xué)習(xí)Java的基礎(chǔ)。在學(xué)習(xí)之初可能很難理解。沒問題。這是正?，F(xiàn)象。你必須多讀，多問，多練習(xí)。你會慢慢開始學(xué)習(xí)的。

2. 因?yàn)閷W(xué)習(xí)沒有捷徑，我們應(yīng)該像學(xué)習(xí)數(shù)學(xué)一樣，更加努力地學(xué)習(xí)java，多練習(xí)。在掌握了理論知識之后，我們必須實(shí)踐和學(xué)習(xí)Java。我們不能偷工減料。也許句子和語法看起來很簡單，但是沒有自己的實(shí)踐，他們不知道知識會有盲點(diǎn)。無論是一個簡單的小程序還是一本小例子的書，只要你做了大量的操作，你的編碼能力就會得到提高。

3. 在代碼上添加足夠的注釋來解釋代碼注釋的功能。當(dāng)我們寫代碼的時候，我們知道內(nèi)容是什么，但是當(dāng)我們讀別人寫的代碼的時候，會有很多我們不能理解的東西。如果您的代碼注釋已滿，其他人可以根據(jù)您的注釋進(jìn)一步讀出程序的一般含義。

4. 在具備一定的知識基礎(chǔ)后，制定詳細(xì)的學(xué)習(xí)計(jì)劃，然后制定切實(shí)可行的學(xué)習(xí)計(jì)劃。這里我主要指的是完整的學(xué)習(xí)計(jì)劃路線。雖然學(xué)習(xí)Java很容易，但要想學(xué)得透徹，就必須逐步學(xué)好，掌握更深層次的知識。

5. 理論聯(lián)系實(shí)際。俗話說，實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。如果想知道自己是否完全掌握了Java技術(shù)，還需要通過實(shí)戰(zhàn)來驗(yàn)證。

6. 經(jīng)常鞏固你所學(xué)的技術(shù)要點(diǎn)，特別是對于你所學(xué)的一些知識點(diǎn)，你應(yīng)該復(fù)習(xí)舊的，學(xué)習(xí)新的。否則，它很快就會被遺忘，我們不知道如何應(yīng)用它，這不利于我們掌握整個java系統(tǒng)。

最后，無論是學(xué)習(xí)Java還是其他知識，制定清晰的學(xué)習(xí)路線計(jì)劃和較強(qiáng)的自控能力都是必不可少的。只有真正努力，不怕挑戰(zhàn)，才能獲得高回報(bào)，找到理想的工作。

以上是我對新手小白如何學(xué)好java的建議。我希望它能幫助你。如果您對java學(xué)習(xí)有更多的疑問，也可以與我分享。

偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想?，F(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。然后，spark學(xué)習(xí)應(yīng)該關(guān)注于理解spark-to-SQL語句的執(zhí)行機(jī)制。

不同的分布式框架有各自的優(yōu)勢和不同的業(yè)務(wù)場景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對更側(cè)重于機(jī)器學(xué)習(xí)。對于企業(yè)來說，如果這些業(yè)務(wù)能夠在同一個集群上運(yùn)行，就可以有效地降低成本。為了讓不同的框架同時在同一個集群中運(yùn)行，最重要的問題是如何分配資源。當(dāng)沒有紗線時，一個相對簡單的方法是假設(shè)集群中有100臺機(jī)器。我們將50臺機(jī)器分配給spark，將其他50臺機(jī)器分配給MapReduce。這似乎沒什么問題。不過，如果我們每天只運(yùn)行一個小時的MapReduce，其余大部分時間都在運(yùn)行spark，那么一天就有23個小時，50臺機(jī)器處于空閑狀態(tài)，而spark的機(jī)器很可能有大量作業(yè)在隊(duì)列中。這顯然不是一種非常有效的使用集群的方法。