java基礎(chǔ)知識點 hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?
hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?首先,大數(shù)據(jù)只是一個概念。一個簡單的類比可以說Hadoop是一種實現(xiàn)大數(shù)據(jù)分析的架構(gòu)。其實,這與中國建設(shè)銀行和中國銀行的概念有些相似。中國建設(shè)銀行是一種
hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?
首先,大數(shù)據(jù)只是一個概念。一個簡單的類比可以說Hadoop是一種實現(xiàn)大數(shù)據(jù)分析的架構(gòu)。其實,這與中國建設(shè)銀行和中國銀行的概念有些相似。中國建設(shè)銀行是一種商業(yè)銀行。在Hadoop之前,我們可以處理大數(shù)據(jù)。我們可以編寫自己的程序來處理它。Java、Python等語言都可以根據(jù)處理來實現(xiàn)大數(shù)據(jù),Hadoop是Java沉淀下來的架構(gòu),它周圍有一個生態(tài)。所以很多人在談到大數(shù)據(jù)的時候都會談到Hadoop,Hadoop中有原生Apache、CDH、HDP等廠商的開源版本。
Apache spark是一個快速通用的計算引擎,專為大規(guī)模數(shù)據(jù)處理而設(shè)計??梢岳斫?,它是Hadoop的一個補充功能。
Hadoop與Spark的關(guān)系,Spark集群必須依賴Hadoop嗎?
它必須在Hadoop群集上。它的數(shù)據(jù)源是HDFS,它本質(zhì)上是一個基于yarn的計算框架,就像Mr.
hadoop與spark的區(qū)別是什么?
感謝您的邀請
!請看下面的圖片:
狹義的Hadoop,也就是原始版本:只有HDFS map reduce
未來會出現(xiàn)很多存儲、計算和管理框架。
如果我們比較它們,我們可以比較Hadoop map reduce和spark,因為它們是用于大數(shù)據(jù)分析的計算框架。
Spark有許多線路組件,它們更強大、更快。