spark必須基于hadoop嗎 hadoop與spark的區(qū)別是什么?
hadoop與spark的區(qū)別是什么?謝謝你的邀請(qǐng)!請(qǐng)看下面的圖片:狹義的Hadoop,也就是原始版本:只有HDFS map reduce未來會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。如果我們比較它們,我們可以
hadoop與spark的區(qū)別是什么?
謝謝你的邀請(qǐng)
!請(qǐng)看下面的圖片:
狹義的Hadoop,也就是原始版本:只有HDFS map reduce
未來會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。
如果我們比較它們,我們可以比較Hadoop map reduce和spark,因?yàn)樗鼈兪怯糜诖髷?shù)據(jù)分析的計(jì)算框架。
Spark有許多線路組件,它們更強(qiáng)大、更快。
Hadoop,Hive,Spark之間是什么關(guān)系?
過去,hive是用來建立數(shù)據(jù)倉庫的,因此對(duì)hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器,修改executor,使其物理執(zhí)行過程在spark上運(yùn)行;spark-SQL使用自己的語法解析器、優(yōu)化器和executor,spark-SQL還擴(kuò)展了接口,不僅支持hive數(shù)據(jù)查詢,還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。