Spark的核心組件有幾部分？實現(xiàn)了spark的基本功能，包括任務(wù)調(diào)度、內(nèi)存管理、錯誤恢復(fù)和存儲系統(tǒng)交互。Spark內(nèi)核還包含了彈性分布式數(shù)據(jù)集的定義Spark是一個用來操作結(jié)構(gòu)化數(shù)據(jù)SQL的程序，我

Spark的核心組件有幾部分？

實現(xiàn)了spark的基本功能，包括任務(wù)調(diào)度、內(nèi)存管理、錯誤恢復(fù)和存儲系統(tǒng)交互。Spark內(nèi)核還包含了彈性分布式數(shù)據(jù)集的定義

Spark是一個用來操作結(jié)構(gòu)化數(shù)據(jù)SQL的程序，我們可以使用SQL或hive（HQL）來查詢數(shù)據(jù)，支持多種數(shù)據(jù)源，比如hive表是JSON，除了提供SQL查詢接口外，還支持SQL與傳統(tǒng)RDD的結(jié)合，開發(fā)人員可以使用SQL和編程（API）同時查詢和分析應(yīng)用程序中的數(shù)據(jù)。

它是spark提供的用于實時數(shù)據(jù)流計算的組件。例如，web服務(wù)器日志或消息隊列是數(shù)據(jù)流。

Spark提供了一個通用機器學(xué)習(xí)函數(shù)庫，包括許多機器學(xué)習(xí)算法，如分類、回歸、聚類、協(xié)作過濾等。

用于圖形計算，如社交網(wǎng)絡(luò)朋友圖。

mesos、k8s和spark之間的聯(lián)系和區(qū)別是什么？

mesos和k8s之間存在一種關(guān)系。簡而言之，它們之間存在一種競爭關(guān)系。它們用于容器編排，是容器技術(shù)的關(guān)鍵組件。Mesos比k8s更早問世，曾在市場上大受歡迎。不過，在谷歌的支持下，k8s很快超越了mesos，擊敗了docker自己的swarm。如今，k8s已成為集裝箱布局的事實標準。

Spark是大數(shù)據(jù)領(lǐng)域的軟件。它最初是作為Hadoop的競爭對手出現(xiàn)的，現(xiàn)在已經(jīng)與Hadoop集成。它與mesos和k8s沒有直接關(guān)系，如果你不得不說是的話，它們都是開源軟件。

MapReduce和Spark的區(qū)別是什么？

MapReduce是Hadoop的分布式計算編程框架

其核心功能是將用戶編寫的邏輯代碼和自己的組件集成到一個程序中，在Hadoop集群上并發(fā)運行。核心組件是mrappmaster maptask Reducetask

spark是MapReduce的替代品，兼容HDFS和hive，可以集成到Hadoop生態(tài)系統(tǒng)中

它們之間的區(qū)別

1。Spark比MapReduce快

基于內(nèi)存的計算比MapReduce快100多倍

基于硬盤的計算比MapReduce快10多倍

2。Spark支持流媒體和離線計算

MapReduce只支持離線計算

3。MapReduce沒有資源調(diào)度系統(tǒng)，它必須在諸如yarn這樣的資源系統(tǒng)上運行

spark集成了資源調(diào)度，并且可以在獨立模式下在自己的主進程和工作進程上運行，或者在yarn上運行

空間有限，所以讓我們先來介紹它。歡迎留言