mysql表數(shù)據(jù)量太大，達到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？在正常配置下，MySQL只能承載2000萬數(shù)據(jù)（同時讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過1億，而且還在

mysql表數(shù)據(jù)量太大，達到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？

在正常配置下，MySQL只能承載2000萬數(shù)據(jù)（同時讀寫，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時間或一定的規(guī)則進行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫。這是最有效的方法。特別是寫，放入一個新表，并定期同步。如果記錄不斷更新，最好將寫入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個新的獨立表。對于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語句

5使用內(nèi)存緩存，或者在前端讀取時增加緩存數(shù)據(jù)庫。重復(fù)讀取時，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個服務(wù)器就可以做到，但是管理起來有點麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，并且您不關(guān)心投資成本，您可以使用cluster或tidb將數(shù)據(jù)寫入MQ，然后從MQ緩慢地將數(shù)據(jù)寫入數(shù)據(jù)庫。主流MQ，如Kafka、rocketmq，橫向擴展非常方便

以MySQL為列：

1:支持高并發(fā)系統(tǒng)，一定會涉及事務(wù)，所以數(shù)據(jù)庫引擎必須選擇InnoDB，InnoDB支持事務(wù)，事務(wù)級別視業(yè)務(wù)而定。如果業(yè)務(wù)數(shù)據(jù)的一致性非常高，則將啟用序列化級別。這樣，交易將完全孤立，但鎖資源的競爭將加劇。MySQL的性能在一定程度上降低了。

2:數(shù)據(jù)庫分為主數(shù)據(jù)庫和從數(shù)據(jù)庫。主數(shù)據(jù)庫負責(zé)寫入數(shù)據(jù)，集群數(shù)據(jù)庫負責(zé)讀取數(shù)據(jù)。注意主從數(shù)據(jù)庫的數(shù)據(jù)一致性。

3:冷熱數(shù)據(jù)分離，美團、饑餓部分設(shè)計采用冷熱數(shù)據(jù)分離。以訂單為例，出庫單的主要業(yè)務(wù)場景是查詢。數(shù)據(jù)查詢越向前，概率越低。這是冷數(shù)據(jù)。正在交易的訂單是熱點數(shù)據(jù)，需要隨時查詢和更新。冷數(shù)據(jù)可以放入redis緩存。這將提高查詢效率。

4：數(shù)據(jù)表設(shè)計，充分利用索引查詢。businesssql避免返回?zé)o用的行和列，禁止使用select*query，在查詢時增加限制，并盡可能返回滿足要求的行。對于復(fù)雜的SQL，請考慮拆分SQL。拆分SQL有一個優(yōu)點。對于重復(fù)查詢SQL，將第二次查詢放入MySQL緩沖區(qū)，避免重復(fù)磁盤操作，提高訪問性能。

5：子數(shù)據(jù)庫和子表。例如，業(yè)務(wù)數(shù)據(jù)按月份分類。在一定程度上，增加、刪除、修改和檢查的壓力將得到緩解。

希望對您有所幫助。謝謝您。

數(shù)據(jù)庫高并發(fā)寫入，怎么降低數(shù)據(jù)庫的壓力？

MySQL高并發(fā)的解決方案有：優(yōu)化SQL語句、優(yōu)化數(shù)據(jù)庫字段、添加緩存、分區(qū)表、讀寫分離和垂直拆分、解耦模塊、水平分段等

高并發(fā)的瓶頸大多在后臺。存儲MySQL的常用優(yōu)化方案有：（1）代碼中SQL語句優(yōu)化；（2）數(shù)據(jù)庫字段優(yōu)化、索引優(yōu)化；（3）緩存、redis/Memcache等；（4）主從、讀寫分離；（5）分區(qū)表；（6）垂直拆分，解耦模塊

（7）水平分割

方案分析：

1。方法1。方法2最簡單最快捷的提高效率的方法。因為每條語句都會命中索引，所以它是最有效的。但是，如果建立索引是為了優(yōu)化SQL，那么索引將溢出。對于級別超過1000萬級的表，維護索引的成本會大大增加，但會增加數(shù)據(jù)庫的內(nèi)存成本。

2. 數(shù)據(jù)庫領(lǐng)域的優(yōu)化。有人發(fā)現(xiàn)，一位高級程序員在設(shè)計表字段時，將日期類型設(shè)計為varchar類型，這是不標(biāo)準(zhǔn)的。同時，它無法對寫入的數(shù)據(jù)進行檢查，索引效率也不同

3。Cache適用于讀多寫少、更新頻率相對較低的業(yè)務(wù)場景，否則Cache幾乎沒有異議，命中率不高。一般來說，緩存主要是為了提高接口的處理速度，減少并發(fā)所帶來的數(shù)據(jù)庫壓力等問題。

4. 分區(qū)不是一個表，結(jié)果仍然是一個表，但存儲的數(shù)據(jù)文件被分成幾個小塊。在表數(shù)據(jù)非常大的情況下，可以解決無法一次加載內(nèi)存、表數(shù)據(jù)維護量大等問題。

5. 垂直拆分按列將表拆分為多個表。通常將主表的擴展數(shù)據(jù)和文本數(shù)據(jù)分開，以降低磁盤IO壓力。

6. 水平拆分的主要目的是提高單個表的并發(fā)讀寫能力（壓力分布到每個子表）和磁盤IO性能（非常大的開銷）。MyD文件已分配給。每個小表的MyD文件）。如果沒有超過1000萬級的數(shù)據(jù)，為什么要反匯編？只優(yōu)化一個表是可以的。如果沒有太多并發(fā)，分區(qū)表通?？梢詽M足要求。因此，一般來說，水平拆分是最后的選擇，仍然需要逐步設(shè)計。