swift6.0新特性？一、無宕機升級：使之還能夠從5的第一個版本滾動起來升級到6的那一個版本，不是需要集群的完整關(guān)機重啟。無宕機下載升級，無縫拼接滾動起來升級。二、跨多個Elasticsearch群

swift6.0新特性？

一、無宕機升級：

使之還能夠從5的第一個版本滾動起來升級到6的那一個版本，不是需要集群的完整關(guān)機重啟。無宕機下載升級，無縫拼接滾動起來升級。

二、跨多個Elasticsearch群集搜索

和以前一般，Elasticsearch6.0能讀取數(shù)據(jù)在5.x中創(chuàng)建家族的Indices，但不能讀取文件在2.x中修改的Indices

三、遷移助手

KibanaX-Pack插件能提供了一個簡單點用戶界面，可解決原先索引舊Indices，和將Kibana、Security和Watcher索引你升級到6.0。

四、在用序列號速度更快地重新啟動和還原

6.0版本中最大的一個新特性那是序列ID，它不允許實現(xiàn)不能操作的分片恢復(fù)。

五、可以使用排序索引慢了網(wǎng)站查詢

按照索引排序，如果能收集到足夠的命中等級，搜索就可以終止。

六、稀疏區(qū)域設(shè)計改進

elasticsearch存儲結(jié)構(gòu)？

基于條件lucene的存儲結(jié)構(gòu)

Lucene是一個功能強大的搜索庫，不過基于Lucene參與開發(fā)比較好奇怪。ElasticSearch是實現(xiàn)lucene開發(fā)的搜索引擎，提供給了更簡單易用的API。

索引只不過是lucene中的概念，一個索引由多個索引段近似，大部分的場景是寫一次，讀過。當(dāng)滿足某些條件時，多個索引段會胸壁痛成一個更大的索引段。索引段的減少有助搜索效率的提高(可能會是lucene內(nèi)部原理判斷的)，不過不穩(wěn)定的段合并會影響大性能。

Elasticsearch中的你每次可以刷新都會新創(chuàng)建戰(zhàn)隊一個段，新創(chuàng)建家族的段里面的數(shù)據(jù)在下第二次刷新之前是不會被搜索到的。ES的段單獨設(shè)置是在后臺并且的。

如何設(shè)計每秒十萬查詢的高并發(fā)架構(gòu)？

簡單的方法回顧幫一下忙，整個架構(gòu)右側(cè)部分演進到的那個程度，其實早相當(dāng)?shù)倪€好了，而且百億流量，最大速度十萬級并發(fā)寫入到的場景，可以使用MQ臨時限流削峰、分布式網(wǎng)絡(luò)KV集群給抗住了。隨后建議使用了算出與儲存分離的架構(gòu)，那里Slave換算節(jié)點會負責(zé)提純數(shù)據(jù)到內(nèi)存中，設(shè)計和實現(xiàn)自研的SQL內(nèi)存算出引擎能完成算出。同時采用了數(shù)據(jù)動靜分離的架構(gòu)，動態(tài)和靜態(tài)數(shù)據(jù)全部緩存，閃圖數(shù)據(jù)自動分離提取，保證了盡可能會把網(wǎng)絡(luò)跪請開銷減少到最底。

別外，自研的分布式系統(tǒng)架構(gòu)，除了數(shù)據(jù)分片和計算任務(wù)分布式執(zhí)行、彈性資源調(diào)度、分布式高容錯機制、主備一鍵切換機制，都能絕對的保證整套系統(tǒng)的正二十邊形按需擴容，高性能、高可用的的運行。

下一步怎么辦，咱們得來做研究做研究架構(gòu)里左側(cè)的部分了。

二、日臻脹大的離線狀態(tài)計算結(jié)果

反正大家會特別注意到，在左側(cè)也有一個MySQL，那個MySQL就是用處盛載實時計算結(jié)果和不聯(lián)網(wǎng)計算出結(jié)果放進里面分類匯總的。

終端的商家用戶就可以不隨意地的查詢MySQL里的數(shù)據(jù)分析結(jié)果，勉力支撐自己的決策，他這個可以看當(dāng)天的數(shù)據(jù)分析報告，也可以不看歷史上任何一段時期內(nèi)的數(shù)據(jù)分析報告。

可是那個MySQL在早期可能不過那些，因為當(dāng)然能保存在這個MySQL里的數(shù)據(jù)量相對要小那些，不過是計算后的一些結(jié)果只不過。不過到了中后期，這個MySQL但也岌岌可危了。

給大家舉一個例子，離線狀態(tài)計算鏈路里，如果早上增量數(shù)據(jù)是1000萬，這樣的話每隔一天可以計算完以后的結(jié)果差不多只有一50萬，每隔一天50萬新增數(shù)據(jù)放入后MySQL，其實那就是可以接受的。

只不過如果不是每天晚上增量數(shù)據(jù)是10億，這樣的話每天晚上算出完以后的結(jié)果大概會是千萬級，你可以算他是可以計算結(jié)果有5000萬條數(shù)據(jù)吧，早上5000萬增量數(shù)據(jù)寫入到左側(cè)的MySQL中，你總覺得是啥感覺？

是可以給大家告訴我系統(tǒng)當(dāng)時的情況，基本上就是，單臺MySQL服務(wù)器的磁盤存儲空間很快地還得將近滿掉，不過單表數(shù)據(jù)量都是幾億、甚至于十億的級別。

這種量級的單表數(shù)據(jù)量，你都覺得用戶可以查詢數(shù)據(jù)分析報告的時候，親身體驗?zāi)芎妹?？基本都?dāng)時三次去查詢也是幾秒鐘的級別。很慢。

殊不知，出現(xiàn)過用戶三次可以查詢要十秒的級別，甚至幾十秒，上分鐘的級別。很崩散，用戶體驗非常差，仍舊達不出來需要付費產(chǎn)品的級別。

所以可以解決了右側(cè)的存儲和換算的問題之后，左側(cè)的可以查詢的問題也迫在眉睫。新一輪的重構(gòu)，迫在眉睫！

三、分庫分表讀寫分離

是需要應(yīng)該是老把戲，分庫分表讀寫分離，這個基本都是實現(xiàn)MySQL的架構(gòu)中，必經(jīng)之路了，況且率先實施出聲難度并非特別的高，但速度較快，效果比較特別顯著。

整個的思路和之前第一篇文章（《大型系統(tǒng)架構(gòu)演進之如何支撐百億級數(shù)據(jù)的存儲與計算》）講的基本都一致。

說白了，是分庫后，每臺主庫是可以盛載部分寫入到壓力，單庫的寫并發(fā)會會降低；如果你是是單個主庫的磁盤空間可以不降底負載的數(shù)據(jù)量，不至于迅速就滿了；

而分表之后，單個數(shù)據(jù)表的數(shù)據(jù)量這個可以會降低到百萬級別，這個是勉力支撐海量數(shù)據(jù)以及能保證更高性能的最佳實踐，基本兩三百萬的單表數(shù)據(jù)量級那就合理的。

然后讀寫分離之后，就是可以將單庫的讀寫負載壓力只是分離到主庫和從庫多臺機器上去，主庫就盛載寫負載電流，從庫就盛載讀負載端，這樣盡量避免單庫所在的位置機器的讀寫負載過熱，導(dǎo)致CPU電源輸出、IO負載電流、網(wǎng)絡(luò)負載過低，最后搞得數(shù)據(jù)庫機器宕機。

必須這么大重構(gòu)再看看數(shù)據(jù)庫層面的架構(gòu)之后，效果就好的多了。是因為單表數(shù)據(jù)量會降低了，那么用戶可以查詢的性能換取很大的提升，都差不多也可以達到1秒以內(nèi)的效果。

四、每秒10萬去查詢的高并發(fā)挑戰(zhàn)

上面那套初步的分庫分表讀寫分離的架構(gòu)確實能支撐了一段時間，但慢慢的的那套架構(gòu)又被人發(fā)現(xiàn)出來了弊端進去了，而且商家用戶是開了數(shù)據(jù)分析頁面之后，頁面上有js腳本會每隔幾秒鐘就發(fā)送第二次請求到后端來運行程序哪個網(wǎng)站的數(shù)據(jù)分析結(jié)果。

此時就有一個問題了，逐漸地的查詢MySQL的壓力越來越大，基本都可預(yù)見的范圍是朝那最大速度10級別去走。

但是我們分析什么了幫一下忙，反正99%的查詢，全是頁面JS腳本不自動口中發(fā)出重新登陸當(dāng)日數(shù)據(jù)的查詢。只能1%的查詢是對于昨天以前的歷史數(shù)據(jù)，用戶不自動更改去查詢范圍當(dāng)時查詢的。

但是現(xiàn)在的這個架構(gòu)之下，我們是把當(dāng)日實時數(shù)據(jù)計算出結(jié)果（代表上帝了熱數(shù)據(jù)）和歷史離線換算結(jié)果（屬於了冷數(shù)據(jù)）都放在旁邊相互的，因為大家可以不想像之中幫一下忙，熱數(shù)據(jù)和冷數(shù)據(jù)放進一同，然后把對熱數(shù)據(jù)的高并發(fā)可以查詢占到了99%，那這樣的架構(gòu)還合理不嗎？

不過不合不合理，我們要再一次被重構(gòu)應(yīng)用架構(gòu)。

五、數(shù)據(jù)的冷熱分離架構(gòu)

因為上列說過的問題，很確實去做的一個架構(gòu)重構(gòu)那就是熱和冷數(shù)據(jù)只是分離。也就是說，將今日實時計算不出來的熱數(shù)據(jù)放進一個MySQL集群里，將離線模式計算出出的冷數(shù)據(jù)放在另外一個MySQL集群里。

接著開發(fā)一個數(shù)據(jù)查詢平臺，標準封裝底層的多個MySQL集群，據(jù)可以查詢條件動態(tài)路由到熱數(shù)據(jù)存儲或者是冷數(shù)據(jù)存儲。

按照這個步驟的重構(gòu)，我們就也可以快速有效的將熱數(shù)據(jù)存儲中單表的數(shù)據(jù)量減低到更少更少，有的單表數(shù)據(jù)量可能會就幾十萬，因為將離線換算的大量數(shù)據(jù)結(jié)果從表里剝離出去后了，放在另外一個集群里去。此時大家可以想象，效果當(dāng)然了是要好了。

畢竟熱數(shù)據(jù)的單表數(shù)據(jù)量下降了很多，當(dāng)時的一個最很明顯的效果，就是用戶99%的查詢是針對熱數(shù)據(jù)存儲展開的，性能從原來是的1秒左右降底到了200毫秒以內(nèi)，用戶體驗提升到，大家覺得好些了。

六、自研ElasticsearchHBase純內(nèi)存的查詢引擎

微服務(wù)化到這里，雖然好像聽說還比較好，只不過其實問題我還是很多。因為到了這個階段，系統(tǒng)遇見了另外一個相對嚴重點的問題：冷數(shù)據(jù)存儲，如果幾乎用MySQL來盛載是很不靠譜不的。冷數(shù)據(jù)的數(shù)據(jù)量是日增長斷的提高，并且增速一下子，每天都再新增幾千萬。

并且你的MySQL服務(wù)器可以說獨自面對不斷地的需要擴容的問題，并且如果不是為了勉強支撐這1%的冷數(shù)據(jù)查詢各位，斷的的內(nèi)存量增加高配置的MySQL服務(wù)器，大家感覺靠譜么？

肯定是不合適的！

要明白了，大量分庫分表后，MySQL大量的庫和表維護起來是蠻麻煩您的，直接修改個字段？加個索引？這全是那一場麻煩的話事兒。

再者，只不過對冷數(shù)據(jù)的查詢，一般大都因為大量數(shù)據(jù)的查詢，諸如用戶會你選擇過去幾個月，甚至一年的數(shù)據(jù)參與分析查詢，此時假如純用MySQL那就挺災(zāi)難性的。

因為當(dāng)時肯定突然發(fā)現(xiàn)，針對海量數(shù)據(jù)場景下，下子去查詢講幾個月或則幾年的數(shù)據(jù)，性能是極差的，應(yīng)該很難搞成幾秒鐘甚至還幾十秒才出結(jié)果。

因此對于這個冷數(shù)據(jù)的存儲和去查詢的問題，我們終于選擇了自研一套實現(xiàn)NoSQL來存儲，然后把基于NoSQL內(nèi)存的SQL計算引擎。

具體來說，我們會將冷數(shù)據(jù)完全常規(guī)ESHBase來通過存儲，ES中比較多貯放要對冷數(shù)據(jù)通過篩選后的各種條件索引，例如日期和各種維度的數(shù)據(jù)，然后HBase中會存放全量的數(shù)據(jù)字段。

畢竟ES和HBase的原生SQL支持什么都可能不太好，所以我們?nèi)缓笞匝辛肆硗庖惶譙QL引擎，一類意見這種特定的事件的場景，那是基本上是沒有多表關(guān)聯(lián)，那就是對單個數(shù)據(jù)集參與查詢和分析，后再意見NoSQL存儲內(nèi)存換算。

這里有一個先決條件，那就是如果不是要你做到對冷數(shù)據(jù)所有的是單表類的數(shù)據(jù)集查詢，需要要在冷數(shù)據(jù)剛剛進入NoSQL存儲的時候，所有基于組件ES和HBase的特性做到多表入庫關(guān)聯(lián)，進數(shù)據(jù)存儲就全部可以做成大寬表的狀態(tài)，將數(shù)據(jù)關(guān)聯(lián)徹底上推到入庫后時能完成，而不是在查詢時進行。

對冷數(shù)據(jù)的查詢，我們自研的SQL引擎是需要會參照各種where條件先走ES的分布式集高性能索引網(wǎng)站查詢，ES可以對于海量數(shù)據(jù)低功耗的數(shù)據(jù)庫檢索出去是需要的那部分數(shù)據(jù)，這個過程用ES做是最比較合適的。

隨后是將檢索到進去的數(shù)據(jù)隨機的完整的各個數(shù)據(jù)字段，從HBase里提取出，拼接成完成的數(shù)據(jù)。

然后那就是將這份數(shù)據(jù)集裝在內(nèi)存里，接受古怪的函數(shù)計算、分組情況聚合以及排序等不能操作。

本案所涉操作，全部實現(xiàn)自研的針對這個場景的查詢引擎能完成，底層基于Elasticsearch、HBase、純內(nèi)存來基于。

七、實時地數(shù)據(jù)存儲化入緩存集群

行了，到此結(jié)束吧，冷數(shù)據(jù)的海量數(shù)據(jù)存儲、更高性能網(wǎng)站查詢的問題，就可以解決了。隨即回過身來看一下當(dāng)日實時數(shù)據(jù)的查詢，反正實時數(shù)據(jù)的日日計算出結(jié)果不可能少，而且讀取并發(fā)應(yīng)該不會不光特別的高，一秒內(nèi)上萬也就不多了。

并且這個背景下，那就是用MySQL分庫分表來能支撐數(shù)據(jù)的寫入、存儲和查詢，都絕對沒問題。

不過有一個小問題，是說每個商家的實時數(shù)據(jù)其實也不是正常的變更的，在一段時間內(nèi)，可能想也沒變化，因此不不需要高并發(fā)各位，每秒10萬級別的全部落地到數(shù)據(jù)庫層面吧？要全部落地之前到數(shù)據(jù)庫層面，那可能要給每個主庫武器掛載很多從庫來勉強支撐高并發(fā)讀。

而這里我們分解重組了一個緩存集群，實時數(shù)據(jù)每次來更新完后寫入文件的時候，大都寫數(shù)據(jù)庫集群同時還寫緩存集群的，是雙寫的。

然后把網(wǎng)上查詢的時候是優(yōu)先權(quán)從緩存集群來走，此時基本都以上的高并發(fā)可以查詢都走緩存集群了，后再只有一10%的查詢會從空中落下到數(shù)據(jù)庫集群。

八、階段性總結(jié)

再說，結(jié)束了，這個架構(gòu)基本左邊也都重構(gòu)之后：

熱數(shù)據(jù)實現(xiàn)緩存集群數(shù)據(jù)庫集群來容納高并發(fā)的每秒十萬級別的查詢冷數(shù)據(jù)設(shè)計和實現(xiàn)ESHBase內(nèi)存可以計算的自研網(wǎng)上查詢引擎來抵擋海量數(shù)據(jù)存儲包括集高性能網(wǎng)站查詢。經(jīng)實踐，整個效果非常的好。用戶對熱數(shù)據(jù)的查詢基本上多是幾十毫秒的響應(yīng)速度，對冷數(shù)據(jù)的查詢都差不多都是200毫秒以內(nèi)的響應(yīng)速度。

九、下一階段的展望

反正微服務(wù)化到這里早很容易了，只不過可那這么大幾張圖，里面涉及到無數(shù)的細節(jié)和技術(shù)方案的落地，需要一個團隊耗費至少1年的時間才能你做到這個程度。

只不過接下來的，我們要遇上的，那就是高可用的問題，是因為付費級的產(chǎn)品，我們可以要絕對的保證暴高的可用性，99.99%的可用性，甚至還是99.999%的可用性。

但是越是古怪的系統(tǒng)，越不容易又出現(xiàn)問題，填寫的高可用架構(gòu)就越是急切無比