Mysql如何去掉數(shù)據(jù)庫中的重復(fù)記錄？很簡單 通過id刪除DELETE FROMtable_name AS ta WHEREta.唯一鍵 <> (SELECTt.maxid FROM( SEL

Mysql如何去掉數(shù)據(jù)庫中的重復(fù)記錄？

很簡單 通過id刪除

DELETE

FROM

table_name AS ta

WHERE

ta.唯一鍵 <> (

SELECT

t.maxid

FROM

( SELECT max( tb.唯一鍵 ) AS maxid FROM table_name AS tb WHERE ta.判斷重復(fù)的列 = tb.判斷重復(fù)的列 ) t

)

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？

mysql在常規(guī)配置下，一般只能承受2000萬的數(shù)據(jù)量(同時(shí)讀寫，且表中有大文本字段，單臺(tái)服務(wù)器)。現(xiàn)在超過1億，并不斷增加的情況下，建議如下處理：

1 分表。可以按時(shí)間，或按一定的規(guī)則拆分，做到查詢某一條數(shù)據(jù)庫，盡量在一個(gè)子表中即可。這是最有效的方法

2 讀寫分離。尤其是寫入，放在新表中，定期進(jìn)行同步。如果其中記錄不斷有update，最好將寫的數(shù)據(jù)放在 redis中，定期同步

3 表的大文本字段分離出來，成為獨(dú)立的新表。大文本字段，可以使用NOSQL數(shù)據(jù)庫

4 優(yōu)化架構(gòu)，或優(yōu)化SQL查詢，避免聯(lián)表查詢，盡量不要用count(*)， in，遞歸等消耗性能的語句

5 用內(nèi)存緩存，或在前端讀的時(shí)候，增加緩存數(shù)據(jù)庫。重復(fù)讀取時(shí)，直接從緩存中讀取。

上面是低成本的管理方法，基本幾臺(tái)服務(wù)器即可搞定，但是管理起來麻煩一些。

當(dāng)然，如果整體數(shù)據(jù)量特別大的話，也不在乎投入費(fèi)用的話，用集群吧，用TIDB吧