偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想。現(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的

偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想。現(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。我們應(yīng)該關(guān)注spark的執(zhí)行機制。

不同的分布式框架有各自的優(yōu)勢和不同的業(yè)務(wù)場景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對更側(cè)重于機器學(xué)習(xí)。對于企業(yè)來說，如果這些業(yè)務(wù)能夠在同一個集群上運行，就可以有效地降低成本。為了讓不同的框架同時在同一個集群中運行，最重要的問題是如何分配資源。當沒有紗線時，一個相對簡單的方法是假設(shè)集群中有100臺機器。我們將50臺機器分配給spark，將其他50臺機器分配給MapReduce。這似乎沒什么問題。不過，如果我們每天只運行一個小時的MapReduce，其余大部分時間都在運行spark，那么一天就有23個小時，50臺機器處于空閑狀態(tài)，而spark的機器很可能有大量作業(yè)在隊列中。這顯然不是一種非常有效的使用集群的方法。

大數(shù)據(jù)現(xiàn)在很火，如果想學(xué)大數(shù)據(jù)，應(yīng)該去哪里培訓(xùn)比較好？

現(xiàn)在學(xué)習(xí)大數(shù)據(jù)的人越來越多，很多學(xué)生在報名上思之前都提出了關(guān)于大數(shù)據(jù)實踐的問題，上思的咨詢老師也回答了很多問題，比如大數(shù)據(jù)培訓(xùn)和學(xué)習(xí)是否可靠，如何選擇大數(shù)據(jù)培訓(xùn)機構(gòu)等等打開。今天，尚思將寫一篇文章來解釋大數(shù)據(jù)培訓(xùn)和學(xué)習(xí)。

很多想?yún)⑴c大數(shù)據(jù)技術(shù)工作的人都參加過大數(shù)據(jù)培訓(xùn)，但大數(shù)據(jù)培訓(xùn)真的可靠嗎？現(xiàn)在無論是大數(shù)據(jù)培訓(xùn)還是其他學(xué)習(xí)，我們都稱之為職業(yè)技能學(xué)習(xí)，這是以工作為導(dǎo)向的。但是，工作的標尺是看不見的，它無法量化標準，所以有大數(shù)據(jù)培訓(xùn)這種專業(yè)力量培養(yǎng)的好與壞的情況，這個時候我們需要擦亮眼睛。在練習(xí)之前，我們應(yīng)該考慮以下問題：

1。你需要大數(shù)據(jù)培訓(xùn)嗎

首先，如果你想自學(xué)大數(shù)據(jù)技術(shù)，你必須具備自學(xué)能力。自學(xué)能力是學(xué)習(xí)it技能的必要條件。如果自學(xué)能力不夠，建議不要這樣做。自律必須很強。我們必須嚴格要求自己。我們不應(yīng)該讓懶惰占便宜。我們應(yīng)該有計劃地學(xué)習(xí)。

2. 大數(shù)據(jù)培訓(xùn)能得到什么幫助

既然我們已經(jīng)把錢花在了大數(shù)據(jù)培訓(xùn)和學(xué)習(xí)上，就一定要注意投入和產(chǎn)出。首先要看這些錢是否比較值錢。大數(shù)據(jù)培訓(xùn)機構(gòu)能為我們提供什么幫助，我們能得到什么？例如，它可以為我們提供一個良好的學(xué)習(xí)環(huán)境，在學(xué)習(xí)過程中督促學(xué)習(xí)，提高學(xué)習(xí)效率，為我們提供答疑和教學(xué)，制定一套合適的學(xué)習(xí)計劃。

3. 培訓(xùn)后是否能找到合適的工作

最重要的是參加大數(shù)據(jù)培訓(xùn)后是否能找到合適的工作，即培訓(xùn)后是否能學(xué)到滿足企業(yè)需要的大數(shù)據(jù)技術(shù)知識。

在我們考慮了以上幾點之后，我相信您已經(jīng)對大數(shù)據(jù)是自學(xué)還是培訓(xùn)有了一定的了解。如果你還不明白，可以請教尚硅谷老師。

2020大數(shù)據(jù)學(xué)習(xí)路線圖：