分布式集群搭建能完成什么工作 hadoop集群有哪些?
hadoop集群有哪些?一個(gè)hadoop集群比較多乾坤二卦三個(gè)主要的模塊:Mapreduce,hdfs,yarn。mapreduce是另一個(gè)再分離在合并的計(jì)算框架,盡量他不是一個(gè)集群,反而一個(gè)編程框架
hadoop集群有哪些?
一個(gè)hadoop集群比較多乾坤二卦三個(gè)主要的模塊:Mapreduce,hdfs,yarn。mapreduce是另一個(gè)再分離在合并的計(jì)算框架,盡量他不是一個(gè)集群,反而一個(gè)編程框架。hdfs是一個(gè)分布式文件系統(tǒng),是一個(gè)分布式集群,作用于存放數(shù)據(jù)。yarn集群是專門負(fù)責(zé)集群任務(wù)調(diào)度和運(yùn)算資源管理的分布式集群。
什么是分布式和集群,如何在Java中應(yīng)用?
聽(tīng)從我的理解說(shuō)幫一下忙什么是分布式,什么是集群,要是有解釋出現(xiàn)錯(cuò)誤的地方,請(qǐng)大家留言鑒諒。
集群同一個(gè)業(yè)務(wù),布署在多臺(tái)服務(wù)器上,這個(gè)就叫做集群。
集群里面,每一臺(tái)服務(wù)器實(shí)現(xiàn)程序的功能沒(méi)有差別。
比如說(shuō)我有一個(gè)系統(tǒng)A,能提供一個(gè)很簡(jiǎn)單的接口,據(jù)員工編號(hào)網(wǎng)站查詢員工姓名和他的考勤記錄。
當(dāng)有一個(gè)用戶態(tài)這個(gè)接口的時(shí)候,我重新部署一臺(tái)服務(wù)器就夠用了。
當(dāng)有一百個(gè)io操作這個(gè)接口的時(shí)候,我就作戰(zhàn)部署十臺(tái)服務(wù)器,前面掛一個(gè)負(fù)載均衡。
這是集群部署,當(dāng)一臺(tái)服務(wù)器掛了以后,不影響功能可以使用。
分布式一個(gè)業(yè)務(wù)被拆成多個(gè)子業(yè)務(wù),防御部署在多臺(tái)服務(wù)器上,這個(gè)就就是分布式。
分布式里面,每一臺(tái)服務(wù)器實(shí)現(xiàn)的功能是有差別的,分布式每臺(tái)服務(wù)器功能加站了起來(lái),才是求完整的業(yè)務(wù)。
還是這個(gè)業(yè)務(wù)場(chǎng)景,我有一個(gè)系統(tǒng)A,提供一個(gè)很簡(jiǎn)單點(diǎn)的接口,根據(jù)員工編號(hào)可以查詢員工姓名和他的考勤記錄。
我拆出來(lái)兩個(gè)系統(tǒng):人員管理系統(tǒng)B和考勤系統(tǒng)C,三個(gè)重新部署在兩臺(tái)服務(wù)器上。
這個(gè)那就是分布式。
好處是什么呢?假如有系統(tǒng)D也是需要可以使用人員信息,比較傳統(tǒng)的系統(tǒng)A和D都要有人員信息管理功能,意味著兩個(gè)系統(tǒng)各自魔獸維護(hù)人員信息,那新進(jìn)公司一個(gè)員工,可能會(huì)要在系統(tǒng)A和D里面都以維護(hù);如果不是是有EFGHI系統(tǒng)都要人員信息呢?
而分布式解決的辦法了這個(gè)問(wèn)題,人員信息另外拎出去是一個(gè)系統(tǒng),維護(hù)人員信息,而可以提供查詢服務(wù)。
分布式集群有些時(shí)候要增強(qiáng)過(guò)來(lái)相互用。
肯定這個(gè)業(yè)務(wù)場(chǎng)景,我有一個(gè)系統(tǒng)A,提供一個(gè)很簡(jiǎn)單的接口,依據(jù)員工編號(hào)網(wǎng)上查詢員工姓名和他的考勤記錄。
我拆開(kāi)兩個(gè)系統(tǒng):人員管理系統(tǒng)B和考勤系統(tǒng)C。
那你系統(tǒng)B防御部署在十臺(tái)服務(wù)器上,系統(tǒng)C作戰(zhàn)部署在十臺(tái)服務(wù)器上;前面四個(gè)掛負(fù)載均衡;這樣的話只要了每個(gè)子業(yè)務(wù)功能的高可用。
希望我的回答能幫助到你!