hadoop是做什么的 從事分布式系統(tǒng)、計(jì)算、hadoop等方面工作需要哪些基礎(chǔ)?
在分布式計(jì)算、分布式存儲(chǔ)技術(shù)的工作中,第一個(gè)基礎(chǔ)是對(duì)傳統(tǒng)技術(shù)的理解,如何從一臺(tái)機(jī)器走到一個(gè)集群,例如,從事分布式存儲(chǔ),那么你需要了解傳統(tǒng)數(shù)據(jù)庫的知識(shí),在分布式存儲(chǔ)方面有哪些問題,如何解決,這些行業(yè)有哪
在分布式計(jì)算、分布式存儲(chǔ)技術(shù)的工作中,第一個(gè)基礎(chǔ)是對(duì)傳統(tǒng)技術(shù)的理解,如何從一臺(tái)機(jī)器走到一個(gè)集群,例如,從事分布式存儲(chǔ),那么你需要了解傳統(tǒng)數(shù)據(jù)庫的知識(shí),在分布式存儲(chǔ)方面有哪些問題,如何解決,這些行業(yè)有哪些解決方案?基礎(chǔ)知識(shí),如分布式相關(guān)知識(shí),如一致性理論及相關(guān)算法,cap理論,強(qiáng)一致性,弱一致性,最終一致性,Paxos-Zab-raft等相關(guān)論文及實(shí)現(xiàn),推薦mit6.824課程,可以先看一看。請(qǐng)記住,在一臺(tái)機(jī)器上實(shí)現(xiàn)可能很容易,但是擴(kuò)展到分布式集群可能不那么容易,這將花費(fèi)很多。我希望它能幫助你。
從事分布式系統(tǒng)、計(jì)算、hadoop等方面工作需要哪些基礎(chǔ)?
CEPH是分布式存儲(chǔ)的開源解決方案。
Hadoop是一個(gè)開源的大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)平臺(tái)中還有一個(gè)存儲(chǔ)部分,一般使用HDFS。