spark必須基于hadoop嗎 hadoop與spark的區(qū)別是什么?
hadoop與spark的區(qū)別是什么?謝謝你的邀請(qǐng)!請(qǐng)看下面的圖片:狹義的Hadoop,也就是原始版本:只有HDFS map reduce未來(lái)會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。如果我們比較它們,我們可以
hadoop與spark的區(qū)別是什么?
謝謝你的邀請(qǐng)
!請(qǐng)看下面的圖片:
狹義的Hadoop,也就是原始版本:只有HDFS map reduce
未來(lái)會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。
如果我們比較它們,我們可以比較Hadoop map reduce和spark,因?yàn)樗鼈兪怯糜诖髷?shù)據(jù)分析的計(jì)算框架。
Spark有許多線路組件,它們更強(qiáng)大、更快。
Hadoop,Hive,Spark之間是什么關(guān)系?
過(guò)去,hive是用來(lái)建立數(shù)據(jù)倉(cāng)庫(kù)的,因此對(duì)hive管理的數(shù)據(jù)查詢(xún)有很大的需求。Hive、shark和sparlsql可以查詢(xún)Hive數(shù)據(jù)。Shark使用hive的SQL語(yǔ)法解析器和優(yōu)化器,修改executor,使其物理執(zhí)行過(guò)程在spark上運(yùn)行;spark-SQL使用自己的語(yǔ)法解析器、優(yōu)化器和executor,spark-SQL還擴(kuò)展了接口,不僅支持hive數(shù)據(jù)查詢(xún),還支持多數(shù)據(jù)源的數(shù)據(jù)查詢(xún)。