hadoop與spark的區(qū)別是什么？謝謝邀請(qǐng)！請(qǐng)看下面這張圖：狹義的Hadoop 也就是最初的版本：只有HDFS Map Reduce后續(xù)出現(xiàn)很多存儲(chǔ)，計(jì)算，管理 框架。如果說(shuō)比較的話就 Hadoo

hadoop與spark的區(qū)別是什么？

謝謝邀請(qǐng)！

請(qǐng)看下面這張圖：

狹義的Hadoop 也就是最初的版本：只有HDFS Map Reduce

后續(xù)出現(xiàn)很多存儲(chǔ)，計(jì)算，管理 框架。

如果說(shuō)比較的話就 Hadoop Map Reduce 和 Spark 比較，因?yàn)樗麄兌际谴髷?shù)據(jù)分析的計(jì)算框架。

Spark 有很多行組件，功能更強(qiáng)大，速度更快。

關(guān)注我了解更多大數(shù)據(jù)分析技能

mesos、k8s和spark之間的聯(lián)系和區(qū)別是什么？

Mesos、K8s之間有關(guān)系，簡(jiǎn)單地說(shuō)有競(jìng)爭(zhēng)關(guān)系，都是用來(lái)進(jìn)行容器編排的，是容器技術(shù)的關(guān)鍵組件。Mesos比K8s出道早，一度受到市場(chǎng)熱捧，不過(guò)，K8s有Google撐腰很快就蓋過(guò)了Mesos，而且戰(zhàn)勝了Docker的自己Swarm，今天K8s已經(jīng)是容器編排的事實(shí)標(biāo)準(zhǔn)了。

Spark是大數(shù)據(jù)領(lǐng)域的一款軟件，最早是作為Hadoop的競(jìng)爭(zhēng)對(duì)手出現(xiàn)，如今已經(jīng)與Hadoop整合在一起了。它和Mesos、K8s沒(méi)有直接關(guān)系。如果非要說(shuō)有，就是都是開(kāi)源軟件。

MapReduce和Spark的區(qū)別是什么？

謝邀回答

首先分別來(lái)說(shuō)一下兩者

MapReduce 是hadoop 的分布式運(yùn)算編程框架

核心功能將用戶編寫的邏輯代碼和自帶組件整合成一個(gè)程序，并發(fā)運(yùn)行在hadoop集群是上，核心組件是mrAppmaster mapTask ReduceTask

Spark是mapReduce的替代方案，兼容HDFS、Hive，可融入hadoop的生態(tài)系統(tǒng)

兩者區(qū)別

1.spark比MapReduce要快

基于內(nèi)存的運(yùn)算，比MapReduce快100倍以上

基于硬盤的運(yùn)算，快10倍以上

2.spark支持流式和離線兩者運(yùn)算

MapReduce只支持離線運(yùn)算

3.MapReduce本身沒(méi)有資源調(diào)度系統(tǒng)，必須運(yùn)行在yarn等資源系統(tǒng)上

spark本身集成資源調(diào)度，以standalone方式可運(yùn)行在自身的Master 和worker上，也可以運(yùn)行在yarn上

篇幅有限就先介紹到這里，歡迎大家留言評(píng)論