mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫，表中有大文本字段，單服務(wù)器）。現(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，而且您不關(guān)心投資成本，可以使用集群或tidb

普通分頁(yè)

普通分頁(yè)用于緩存。您可以直接找到它并按頁(yè)將其放入緩存，但這種緩存方法有許多缺點(diǎn)。

如果無(wú)法及時(shí)更新緩存，則一旦數(shù)據(jù)更改，所有以前的分頁(yè)緩存都將無(wú)效。

例如，在像微博這樣的場(chǎng)景中，微博下有排名靠前的次數(shù)。這在傳統(tǒng)的分頁(yè)中很難處理。

一個(gè)主意

最近，我想到了另一個(gè)主意。

數(shù)據(jù)緩存在redis中，ID為key；

數(shù)據(jù)ID和排序得分保存在redis的skip list中，即Zset；

查找數(shù)據(jù)時(shí)，首先從redis的skip list中提取相應(yīng)的分頁(yè)數(shù)據(jù)，得到ID list。

使用multi-get一次從redis獲取ID列表中的所有數(shù)據(jù)。如果有缺少某個(gè)ID的數(shù)據(jù)，將從數(shù)據(jù)庫(kù)中搜索并返回給用戶，搜索到的數(shù)據(jù)將按ID緩存在redis中

在最后一步，您可以有一些提示：

例如，如果缺少某個(gè)ID數(shù)據(jù)，首先直接返回給用戶，然后前端使用Ajax請(qǐng)求丟失的ID數(shù)據(jù)，然后動(dòng)態(tài)刷新。

還有一些優(yōu)化可能會(huì)將操作與Lua腳本合并，但是考慮到Lua腳本比較慢，您可能需要仔細(xì)測(cè)試它們。

如果您使用的是Lua腳本，則可以在一個(gè)請(qǐng)求中完成以下操作：

查找頁(yè)面上的所有文章，返回緩存文章的ID和內(nèi)容，以及不在緩存中的文章的ID列表。

其他事項(xiàng)：Lua支持LRU模式，類似memcached。但奇怪的是，沒(méi)有人這樣使用它。

也許redis已經(jīng)準(zhǔn)備好存儲(chǔ)redis很長(zhǎng)時(shí)間了，我不擔(dān)心內(nèi)存容量。