hadoop與spark的區(qū)別與聯(lián)系 在hadoop和spark之間如何取舍?
在hadoop和spark之間如何取舍?一般來說,Hadoop和spark是主流行業(yè)的大數(shù)據(jù)技術(shù)。學(xué)習(xí)時(shí),兩個(gè)系統(tǒng)都會(huì)學(xué)習(xí),先學(xué)習(xí)Hadoop,再學(xué)習(xí)spark。Apache開源組織的分布式基礎(chǔ)設(shè)施提
在hadoop和spark之間如何取舍?
一般來說,Hadoop和spark是主流行業(yè)的大數(shù)據(jù)技術(shù)。學(xué)習(xí)時(shí),兩個(gè)系統(tǒng)都會(huì)學(xué)習(xí),先學(xué)習(xí)Hadoop,再學(xué)習(xí)spark。
Apache開源組織的分布式基礎(chǔ)設(shè)施提供了分布式文件系統(tǒng)(HDFS)、分布式計(jì)算(MapReduce)和統(tǒng)一資源管理框架(yarn)的軟件體系結(jié)構(gòu)。用戶可以在不了解分布式系統(tǒng)的基本細(xì)節(jié)的情況下開發(fā)分布式程序。
為大規(guī)模數(shù)據(jù)處理設(shè)計(jì)的快速通用計(jì)算引擎。用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。它可以用來完成各種操作,包括SQL查詢、文本處理、機(jī)器學(xué)習(xí)等。
https://www.toutiao.com/i654015696262573648397/
hadoop與spark的區(qū)別是什么?
感謝您的邀請
!請看下面的圖片:
狹義的Hadoop,也就是原始版本:只有HDFS map reduce
未來會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。
如果我們比較它們,我們可以比較Hadoop map reduce和spark,因?yàn)樗鼈兪怯糜诖髷?shù)據(jù)分析的計(jì)算框架。
Spark有許多線路組件,它們更強(qiáng)大、更快。