分布式存儲系統(tǒng)有哪些 國內(nèi)做分布式存儲研發(fā)的公司有哪些?
國內(nèi)做分布式存儲研發(fā)的公司有哪些?阿里云飛天盤古團隊多年來一直專注于此領域。目前,盤古支持阿里云的多種服務,包括但不限于塊存儲(ECS云盤)、對象存儲(OSS)、表服務(OTS)、大規(guī)模分布式文件系統(tǒng)
國內(nèi)做分布式存儲研發(fā)的公司有哪些?
阿里云飛天盤古團隊多年來一直專注于此領域。目前,盤古支持阿里云的多種服務,包括但不限于塊存儲(ECS云盤)、對象存儲(OSS)、表服務(OTS)、大規(guī)模分布式文件系統(tǒng)(ODPs)、分析數(shù)據(jù)庫(ads)等,部署規(guī)模、數(shù)據(jù)量、付費用戶數(shù)、收入等,增長率和其他指標在中國很難匹配。
小米云平臺包括開源HBase(三個提交者)和基于C的自主研發(fā)
國內(nèi)大部分分布式存儲公司都使用開源軟件(CEPH?)。這些公司的代表包括華為、騰訊、今日頭條、滴滴等眾多團隊,有的使用開源軟件,有的自行研發(fā)。
當前主流分布式文件系統(tǒng)有哪一些?
目前除了GPFS,還有PVFS、lustre、panfs、Google FS等。
1. PVFS(parallel virtual file system)項目是克萊姆森大學創(chuàng)建的一個開源項目,用于運行Linux集群1)單個管理節(jié)點:只有一個管理節(jié)點來管理元數(shù)據(jù)。當集群系統(tǒng)達到一定規(guī)模時,管理節(jié)點可能過于繁忙,成為系統(tǒng)的瓶頸。2) 數(shù)據(jù)存儲缺乏容錯機制:當I/O節(jié)點發(fā)生故障時,數(shù)據(jù)將不可用3)靜態(tài)配置:PVFS只能在啟動前配置。一旦系統(tǒng)運行,就不能更改原始配置。
2. Lustre文件系統(tǒng)是一個基于對象存儲的分布式文件系統(tǒng)。該項目于1999年在卡內(nèi)基梅隆大學啟動。Lustre也是一個開源項目。它只有兩個元數(shù)據(jù)管理節(jié)點,類似于PVFS。當系統(tǒng)達到一定規(guī)模時,管理節(jié)點將成為lustre系統(tǒng)的瓶頸。
3. Panfs(Panasas文件系統(tǒng))是Panasas公司用來管理自己的集群存儲系統(tǒng)的分布式文件系統(tǒng)。
4. googlefs(Google文件系統(tǒng))是Google公司為滿足公司內(nèi)部數(shù)據(jù)處理需要而設計的一套分布式文件系統(tǒng)。
5. 與其他文件系統(tǒng)相比,GPFS的主要優(yōu)點是:1)采用分布式鎖管理和大數(shù)據(jù)塊策略,支持更大規(guī)模的集群系統(tǒng)。文件系統(tǒng)的令牌管理器為塊、inode、屬性和目錄項建立細粒度鎖。獲得鎖的第一個客戶端將負責維護相應共享對象的一致性管理,這減輕了元數(shù)據(jù)服務器的負擔2)隨著多個元數(shù)據(jù)服務器和分布式元數(shù)據(jù)的出現(xiàn),元數(shù)據(jù)管理不再是系統(tǒng)的瓶頸。3) 令牌管理以字節(jié)為最小鎖單位,即除非兩個請求訪問同一文件中的同一字節(jié)數(shù)據(jù),否則數(shù)據(jù)訪問請求不會發(fā)生沖突