Spark能代替Hadoop嗎？從目前的發(fā)展來看，spark并不能完全取代Hadoop。我們知道Hadoop由三個組件組成：yarn、HDFS和MapReduce，它們分別解決了yarn、HDFS和M

Spark能代替Hadoop嗎？

從目前的發(fā)展來看，spark并不能完全取代Hadoop。

我們知道Hadoop由三個組件組成：yarn、HDFS和MapReduce，它們分別解決了yarn、HDFS和MapReduce三個問題。但是spark只能解決分布式計算的問題。與MapReduce需要頻繁寫入磁盤不同，spark重用內(nèi)存，大大提高了計算效率。在分布式計算中，spark有可能取代MapReduce，但在資源調(diào)度和分布式存儲中，spark是不可撼動的。

?。簀ava基金會——大數(shù)據(jù)基金會（Linux系統(tǒng)管理，shell編程，Maven等）——Hadoop-Strum——Skad算法！一般來說，大數(shù)據(jù)的學(xué)習(xí)時間比學(xué)習(xí)java的時間短。大數(shù)據(jù)課程，包括大數(shù)據(jù)技術(shù)概論、海量數(shù)據(jù)高級分析語言、海量數(shù)據(jù)存儲、分布式存儲、海量數(shù)據(jù)分析、分布式計算、Linux、Hadoop、Scala、HBase、hive、spark等專業(yè)課程。如果你想完全學(xué)習(xí)大數(shù)據(jù)，這些課程是必不可少的。加米古大數(shù)據(jù)培訓(xùn)線下小班教學(xué)，大數(shù)據(jù)發(fā)展零基礎(chǔ)課預(yù)測6月https://www.toutiao.com/i6684880291628057099/

學(xué)習(xí)spark和storm之前有必要學(xué)習(xí)hadoop嗎？

Spark是一個基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用程序。例如PageRank、K-means等算法非常適合內(nèi)存迭代計算。spark的整個生態(tài)系統(tǒng)正在逐步改善。Graphx、sparksql、sparkstreaming、mllib，當(dāng)spark擁有自己的數(shù)據(jù)倉庫時，它將完全可以與Hadoop生態(tài)系統(tǒng)相媲美。