mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？在正常配置下，MySQL只能承載2000萬數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過1億，而且還在

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？

在正常配置下，MySQL只能承載2000萬數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫。這是最有效的方法。特別是寫，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來有點(diǎn)麻煩。

當(dāng)然，如果總的數(shù)據(jù)量特別大，而且您不關(guān)心投資成本，那么使用cluster或tidb是不容易的。其實(shí)，可以用不同的思路找出所有的表名，然后根據(jù)表名生成導(dǎo)出腳本，生成的文件將一個(gè)表一個(gè)表。

外殼示例如下，僅供參考，請?jiān)谀约旱臏y試環(huán)境中測試。腳本可以打包在一個(gè)大shell中并一起執(zhí)行。

1、生成所有表名

MySQL<<eof

使用CPAI

顯示表

退出

EOF

將結(jié)果輸入到tmp.txt文件

2、生成腳本導(dǎo)出單表數(shù)據(jù)

awk“NR>1”tmp.txt文件& gttables.txt文件#從第二行開始

貓表格.txt|Awk“{printf”mysqldump數(shù)據(jù)庫名稱%S>%s.sqln“，$1，$1}”>mysqlu轉(zhuǎn)儲(chǔ)u簽名

3、執(zhí)行MySQLuu轉(zhuǎn)儲(chǔ)u簽名腳本中，可以將表導(dǎo)出到單獨(dú)的文件中。