分布式存儲(chǔ)應(yīng)用場(chǎng)景 當(dāng)前主流分布式文件系統(tǒng)有哪一些?
當(dāng)前主流分布式文件系統(tǒng)有哪一些?目前,除了GPFS,還有PVFS、lustre、panfs、googlefs等等。1. PVFS(parallel virtual file system)項(xiàng)目是克萊姆
當(dāng)前主流分布式文件系統(tǒng)有哪一些?
目前,除了GPFS,還有PVFS、lustre、panfs、googlefs等等。
1. PVFS(parallel virtual file system)項(xiàng)目是克萊姆森大學(xué)創(chuàng)建的一個(gè)開(kāi)源項(xiàng)目,用于運(yùn)行Linux集群1)單個(gè)管理節(jié)點(diǎn):只有一個(gè)管理節(jié)點(diǎn)來(lái)管理元數(shù)據(jù)。當(dāng)集群系統(tǒng)達(dá)到一定規(guī)模時(shí),管理節(jié)點(diǎn)可能過(guò)于繁忙,成為系統(tǒng)的瓶頸。2) 數(shù)據(jù)存儲(chǔ)缺乏容錯(cuò)機(jī)制:當(dāng)I/O節(jié)點(diǎn)發(fā)生故障時(shí),數(shù)據(jù)將不可用3)靜態(tài)配置:PVFS只能在啟動(dòng)前配置。一旦系統(tǒng)運(yùn)行,就不能更改原始配置。
2. Lustre文件系統(tǒng)是一個(gè)基于對(duì)象存儲(chǔ)的分布式文件系統(tǒng)。該項(xiàng)目于1999年在卡內(nèi)基梅隆大學(xué)啟動(dòng)。Lustre也是一個(gè)開(kāi)源項(xiàng)目。它只有兩個(gè)元數(shù)據(jù)管理節(jié)點(diǎn),類似于PVFS。當(dāng)系統(tǒng)達(dá)到一定規(guī)模時(shí),管理節(jié)點(diǎn)將成為lustre系統(tǒng)的瓶頸。
3. Panfs(Panasas文件系統(tǒng))是Panasas公司用來(lái)管理自己的集群存儲(chǔ)系統(tǒng)的分布式文件系統(tǒng)。
4. googlefs(Google文件系統(tǒng))是Google公司為滿足公司內(nèi)部數(shù)據(jù)處理需要而設(shè)計(jì)的一套分布式文件系統(tǒng)。
5. 與其他文件系統(tǒng)相比,GPFS的主要優(yōu)點(diǎn)是:1)采用分布式鎖管理和大數(shù)據(jù)塊策略,支持更大規(guī)模的集群系統(tǒng)。文件系統(tǒng)的令牌管理器為塊、inode、屬性和目錄項(xiàng)建立細(xì)粒度鎖。獲得鎖的第一個(gè)客戶端將負(fù)責(zé)維護(hù)相應(yīng)共享對(duì)象的一致性管理,這減輕了元數(shù)據(jù)服務(wù)器的負(fù)擔(dān)2)隨著多個(gè)元數(shù)據(jù)服務(wù)器和分布式元數(shù)據(jù)的出現(xiàn),元數(shù)據(jù)管理不再是系統(tǒng)的瓶頸。3) 令牌管理以字節(jié)為最小鎖單位,即除非兩個(gè)請(qǐng)求訪問(wèn)同一個(gè)文件中的同一字節(jié)數(shù)據(jù),否則數(shù)據(jù)訪問(wèn)請(qǐng)求永遠(yuǎn)不會(huì)沖突
分布式文件系統(tǒng)、集群文件系統(tǒng)、并行文件系統(tǒng),這三個(gè)概念很容易混淆,在實(shí)踐中,我們經(jīng)常不加區(qū)別地使用它們??傆腥藛?wèn)這三者之間的區(qū)別和聯(lián)系。事實(shí)上,兩者在概念上有一定的重疊,但也存在著顯著的差異。