mesos、k8s和spark之間的聯(lián)系和區(qū)別是什么？mesos和k8s之間存在著一種關(guān)系。簡而言之，它們之間存在著一種競爭關(guān)系。它們用于容器編排，是容器技術(shù)的關(guān)鍵組件。Mesos比k8s更早問世，曾

mesos、k8s和spark之間的聯(lián)系和區(qū)別是什么？

mesos和k8s之間存在著一種關(guān)系。簡而言之，它們之間存在著一種競爭關(guān)系。它們用于容器編排，是容器技術(shù)的關(guān)鍵組件。Mesos比k8s更早問世，曾在市場上大受歡迎。不過，在谷歌的支持下，k8s很快超越了mesos，擊敗了docker自己的swarm。如今，k8s已成為集裝箱布局的事實(shí)標(biāo)準(zhǔn)。

Spark是大數(shù)據(jù)領(lǐng)域的軟件。它最初是作為Hadoop的競爭對(duì)手出現(xiàn)的，現(xiàn)在已經(jīng)與Hadoop集成。它與mesos和k8s沒有直接關(guān)系，如果你不得不說是的話，它們都是開源軟件。

MapReduce和Spark的區(qū)別是什么？

MapReduce是Hadoop的分布式計(jì)算編程框架

其核心功能是將用戶編寫的邏輯代碼和自己的組件集成到一個(gè)程序中，在Hadoop集群上并發(fā)運(yùn)行。核心組件是mrappmaster maptask Reducetask

spark是MapReduce的替代品，兼容HDFS和hive，可以集成到Hadoop生態(tài)系統(tǒng)中

它們之間的區(qū)別

1。Spark比MapReduce快

基于內(nèi)存的計(jì)算比MapReduce快100多倍

基于硬盤的計(jì)算比MapReduce快10多倍

2。Spark支持流媒體和離線計(jì)算

MapReduce只支持離線計(jì)算

3。MapReduce沒有資源調(diào)度系統(tǒng)，它必須在諸如yarn這樣的資源系統(tǒng)上運(yùn)行

]spark本身集成了資源調(diào)度，它可以在自己的主進(jìn)程和工作進(jìn)程上運(yùn)行，也可以以獨(dú)立的方式在yarn上運(yùn)行

空間有限，所以我們先在這里介紹一下，歡迎評(píng)論

1行業(yè)中的大型模型都是基于logistic回歸和線性回歸的，所以SGD和lbfgs的理解非常重要，并行推導(dǎo)非常重要，要了解LR是如何并行的

2接下來是常見的機(jī)器學(xué)習(xí)算法，比如SVM gbdt KNN，了解原理，能在壓力下快速反應(yīng)。算法的優(yōu)缺點(diǎn)和適應(yīng)場景應(yīng)基本清晰

3基本算法應(yīng)熟練掌握數(shù)據(jù)結(jié)構(gòu)、鏈表二叉樹、快速行合并、動(dòng)態(tài)返回等