CephFS內(nèi)核客戶端的性能如何？問題描述測試c:。查一下網(wǎng)卡流量，并不是全:檢查集群負(fù)載是否也非常低，osd磁盤是否非?？臻e，并驗證多臺機(jī)器正在并發(fā)測試，總吞吐量是否可以上升。懷疑單個客戶端上限存在

CephFS內(nèi)核客戶端的性能如何？

問題描述測試c:。

查一下網(wǎng)卡流量，并不是全:

檢查集群負(fù)載是否也非常低，osd磁盤是否非?？臻e，并驗證多臺機(jī)器正在并發(fā)測試，總吞吐量是否可以上升。懷疑單個客戶端上限存在瓶頸。

源代碼分析集群沒有滿，網(wǎng)絡(luò)不是瓶頸，只能從內(nèi)核客戶端cephfs的寫IO入手，尋找問題根源。Cephfs內(nèi)核客戶端在文件fs/ceph/file.c:中編寫IO代碼。

從代碼實現(xiàn)來看，主要流程是三個步驟:n:。

先看超時時間，傳入是0，最后結(jié)果是LONG_MAX，幾乎都是wait:。

接下來，看條件的滿足程度，:

根據(jù)kernel 的注釋，函數(shù)sch:。

從源代碼分析，很明顯，一個請求發(fā)出后，只有在請求完成后才會發(fā)出下一個請求，IO并沒有并發(fā)分配到后端集群。

下一個問題是如何確定每個請求的大??？這與文件的布局屬性和當(dāng)前的寫入位置有關(guān)。如果從文件偏移量0開始寫入并使用默認(rèn)屬性，則最大大小是ceph對象大小，即4MB。c:。

獲取文件信息節(jié)點

對應(yīng)于文件的對象

檢查兩個對象對應(yīng)的osd信息，分別對應(yīng)osd 121和130:。

再次執(zhí)行剛才的dd命令，觀察兩個主osd(121，130)上的op。同時使用ftrac:以上。

c: 04 : 19.049346，止于16 : 04 : 19.44999。

這是osd 130的信息。操作的對象是1000088.0001，操作持續(xù)439.539毫秒..Op從16 : 04 : 19.491627開始，到16 : 04 : 19.9166結(jié)束。

可以清楚的看到，先寫第一個對象，再寫第二個對象。對象之間沒有并發(fā)寫，這不同于塊存儲和塊存儲的實現(xiàn)，至少是librbd的實現(xiàn)。如果一個io同時對應(yīng)于多個對象，則同時發(fā)出多個請求，而不是等待第一個對象完成后再發(fā)出第二個對象的IO。參見下面的代碼:。

用于寫入文件的客戶端ftrace信息啟用ftrac:

:觀察日志

這里啟動下一個請求花了將近500毫秒，但是從osd的分析來看，第一個IO完成用了426毫秒。osd完成IO后通知內(nèi)核客戶端有網(wǎng)絡(luò)延遲，再加上內(nèi)核調(diào)度的延遲，差不多可以匹配了。

結(jié)論通過源代碼分析，cephfs在direct的情況下性能確實有限，然后分別通過集群osd和內(nèi)核客戶端驗證。然而，用戶不 不要太擔(dān)心性能，因為在正常情況下，它不會贏。;不要直接寫，內(nèi)核客戶端有頁面緩存，會讓寫的很快。

更接近真實的使用場景，用戶首先寫入數(shù)據(jù)，最后調(diào)用同步操作:一次。

希望我的回答能對你有所幫助！

10t希捷硬盤？

希捷Exos X10硬盤包含10TB和8TB兩個版本，是安全、大容量、高性能的企業(yè)級硬盤。它針對要求極高的超大規(guī)模應(yīng)用進(jìn)行了優(yōu)化，最大限度地節(jié)省了總擁有成本。

ExoX10企業(yè)級硬盤支持每個硬盤高達(dá)8TB，每個機(jī)架額外增加25% PB。高存儲密度支持使用最新技術(shù)和最高效率，有助于拓展數(shù)據(jù)域的邊界，使數(shù)據(jù)中心架構(gòu)師和IT專業(yè)人員能夠為要求苛刻的24x7運(yùn)營提供可靠的性能、堅如磐石的可靠性和鋼鐵?？傮w安全性和非常低的總擁有成本。

ExoX10硬盤提供行業(yè) 8TB硬盤的最高性能，配有高級寫緩存，非常適合OLTP、Hadoop、Ceph和HPC應(yīng)用。超大規(guī)模SATA型號針對大規(guī)模數(shù)據(jù)傳輸進(jìn)行了調(diào)整，隨機(jī)寫入性能提升了20%。希捷優(yōu)化存儲。;的動力平衡功能和體驗行業(yè) 的最佳IOPS性能功耗比。ExoX10由250萬小時的MTBF支持。

希捷企業(yè)盤10TB，好價到1699元，剛需入。