mysql表數(shù)據(jù)量太大，達到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？mysql在常規(guī)配置下，一般只能承受2000萬的數(shù)據(jù)量(同時讀寫，且表中有大文本字段，單臺服務(wù)器)?，F(xiàn)在超過1億，

mysql表數(shù)據(jù)量太大，達到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？

mysql在常規(guī)配置下，一般只能承受2000萬的數(shù)據(jù)量(同時讀寫，且表中有大文本字段，單臺服務(wù)器)?，F(xiàn)在超過1億，并不斷增加的情況下，建議如下處理：

1 分表。可以按時間，或按一定的規(guī)則拆分，做到查詢某一條數(shù)據(jù)庫，盡量在一個子表中即可。這是最有效的方法

2 讀寫分離。尤其是寫入，放在新表中，定期進行同步。如果其中記錄不斷有update，最好將寫的數(shù)據(jù)放在 redis中，定期同步

3 表的大文本字段分離出來，成為獨立的新表。大文本字段，可以使用NOSQL數(shù)據(jù)庫

4 優(yōu)化架構(gòu)，或優(yōu)化SQL查詢，避免聯(lián)表查詢，盡量不要用count(*)， in，遞歸等消耗性能的語句

5 用內(nèi)存緩存，或在前端讀的時候，增加緩存數(shù)據(jù)庫。重復(fù)讀取時，直接從緩存中讀取。

上面是低成本的管理方法，基本幾臺服務(wù)器即可搞定，但是管理起來麻煩一些。

當然，如果整體數(shù)據(jù)量特別大的話，也不在乎投入費用的話，用集群吧，用TIDB吧

MySQL分庫分表之后，id主鍵如何處理？

我從分庫分表存在的問題和怎么做來回答一下這個問題。。

一，分庫分表的ID主鍵不能依賴于數(shù)據(jù)庫的自增，因為多庫中會重復(fù)！

通常使用外接的數(shù)據(jù)組件獲取全局唯一的ID：比如加強型UUID（根據(jù)Ip，時間戳等得到）和使用Redis(RedisAtomicLong)和zookeeper的API獲取，Twitter的雪花算法等等！

二，分庫分表之后的連接查詢比較困難！

問題沒法避免，通常拆分SQL，使用多次查詢，用查到的結(jié)果再分別查別的結(jié)果！

三，分布式事務(wù)的數(shù)據(jù)一致性很難保證！

可以使用TCC編程模型保證兩處的事務(wù)都能正確提交，但是這種方式對代碼的侵入比較重！也可以使用基于消息的數(shù)據(jù)一致性保證！

四，多數(shù)據(jù)的排序，分組，統(tǒng)計會比較困難！

1，用多線程，對多個節(jié)點分別查詢，然后匯總！

2，也可以提前冗余查詢表，將所有的經(jīng)常查詢的重點數(shù)據(jù)提前統(tǒng)一到個庫表里！

分庫分表涉及到的知識點比較多，建議使用專門的分庫分表組件！本人有mycat使用經(jīng)驗，如果您有相關(guān)問題，歡迎前來探討！