spark集群和hadoop集群區(qū)別 hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?
hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?大數(shù)據(jù)其實(shí)是一個(gè)比較龐大和廣泛的概念,Hadoop是一個(gè)比較完整的大數(shù)據(jù)處理的批量數(shù)據(jù)存儲(chǔ)、計(jì)算和分析框架。Spark可以理解為一個(gè)內(nèi)存計(jì)算框架?,F(xiàn)在很
hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?
大數(shù)據(jù)其實(shí)是一個(gè)比較龐大和廣泛的概念,Hadoop是一個(gè)比較完整的大數(shù)據(jù)處理的批量數(shù)據(jù)存儲(chǔ)、計(jì)算和分析框架。Spark可以理解為一個(gè)內(nèi)存計(jì)算框架?,F(xiàn)在很多主流的大數(shù)據(jù)平臺(tái)都在Hadoop的基礎(chǔ)上進(jìn)行了優(yōu)化和再開發(fā),spark一般都集成到Hadoop中進(jìn)行流式數(shù)據(jù)處理謝謝您的邀請(qǐng)
!請(qǐng)看下面的圖片:
狹義的Hadoop,也就是原始版本:只有HDFS map reduce
未來(lái)會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。
如果我們比較它們,我們可以比較Hadoop map reduce和spark,因?yàn)樗鼈兪怯糜诖髷?shù)據(jù)分析的計(jì)算框架。
Spark有許多線路組件,它們更強(qiáng)大、更快。
hadoop與spark的區(qū)別是什么?
它必須在Hadoop群集上。它的數(shù)據(jù)源是HDFS,它本質(zhì)上是一個(gè)基于yarn的計(jì)算框架,就像Mr。