分布式存儲應(yīng)用場景 當前主流分布式文件系統(tǒng)有哪一些?
當前主流分布式文件系統(tǒng)有哪一些?目前,除了GPFS,還有PVFS、lustre、panfs、googlefs等等。1. PVFS(parallel virtual file system)項目是克萊姆
當前主流分布式文件系統(tǒng)有哪一些?
目前,除了GPFS,還有PVFS、lustre、panfs、googlefs等等。
1. PVFS(parallel virtual file system)項目是克萊姆森大學創(chuàng)建的一個開源項目,用于運行Linux集群1)單個管理節(jié)點:只有一個管理節(jié)點來管理元數(shù)據(jù)。當集群系統(tǒng)達到一定規(guī)模時,管理節(jié)點可能過于繁忙,成為系統(tǒng)的瓶頸。2) 數(shù)據(jù)存儲缺乏容錯機制:當I/O節(jié)點發(fā)生故障時,數(shù)據(jù)將不可用3)靜態(tài)配置:PVFS只能在啟動前配置。一旦系統(tǒng)運行,就不能更改原始配置。
2. Lustre文件系統(tǒng)是一個基于對象存儲的分布式文件系統(tǒng)。該項目于1999年在卡內(nèi)基梅隆大學啟動。Lustre也是一個開源項目。它只有兩個元數(shù)據(jù)管理節(jié)點,類似于PVFS。當系統(tǒng)達到一定規(guī)模時,管理節(jié)點將成為lustre系統(tǒng)的瓶頸。
3. Panfs(Panasas文件系統(tǒng))是Panasas公司用來管理自己的集群存儲系統(tǒng)的分布式文件系統(tǒng)。
4. googlefs(Google文件系統(tǒng))是Google公司為滿足公司內(nèi)部數(shù)據(jù)處理需要而設(shè)計的一套分布式文件系統(tǒng)。
5. 與其他文件系統(tǒng)相比,GPFS的主要優(yōu)點是:1)采用分布式鎖管理和大數(shù)據(jù)塊策略,支持更大規(guī)模的集群系統(tǒng)。文件系統(tǒng)的令牌管理器為塊、inode、屬性和目錄項建立細粒度鎖。獲得鎖的第一個客戶端將負責維護相應(yīng)共享對象的一致性管理,這減輕了元數(shù)據(jù)服務(wù)器的負擔2)隨著多個元數(shù)據(jù)服務(wù)器和分布式元數(shù)據(jù)的出現(xiàn),元數(shù)據(jù)管理不再是系統(tǒng)的瓶頸。3) 令牌管理以字節(jié)為最小鎖單位,即除非兩個請求訪問同一個文件中的同一字節(jié)數(shù)據(jù),否則數(shù)據(jù)訪問請求永遠不會沖突
分布式文件系統(tǒng)、集群文件系統(tǒng)、并行文件系統(tǒng),這三個概念很容易混淆,在實踐中,我們經(jīng)常不加區(qū)別地使用它們。總有人問這三者之間的區(qū)別和聯(lián)系。事實上,兩者在概念上有一定的重疊,但也存在著顯著的差異。