如何保證多線程從mysql數(shù)據(jù)庫(kù)查詢(xún)的數(shù)據(jù)不重復(fù)？對(duì)于MySQL，可能會(huì)發(fā)生臟讀、不可重復(fù)讀和不真實(shí)讀。MySQL的默認(rèn)設(shè)置是repeatable read，即在一個(gè)事務(wù)中不會(huì)讀取不同的數(shù)據(jù)。您可以執(zhí)

如何保證多線程從mysql數(shù)據(jù)庫(kù)查詢(xún)的數(shù)據(jù)不重復(fù)？

對(duì)于MySQL，可能會(huì)發(fā)生臟讀、不可重復(fù)讀和不真實(shí)讀。MySQL的默認(rèn)設(shè)置是repeatable read，即在一個(gè)事務(wù)中不會(huì)讀取不同的數(shù)據(jù)。您可以執(zhí)行以下操作：

1）打開(kāi)兩個(gè)客戶(hù)端，兩個(gè)客戶(hù)端都設(shè)置為RR；

2）在一個(gè)事務(wù)中，查詢(xún)一個(gè)操作以查找一段數(shù)據(jù)；例如，字段version=1中有數(shù)據(jù)；

3）在另一個(gè)事務(wù)中，刪除version=1的數(shù)據(jù)；刪除后，查詢(xún)?cè)撌聞?wù)中的數(shù)據(jù)是否為2所屬?zèng)]有更改，或者有版本為1的數(shù)據(jù)；

4）當(dāng)我們繼續(xù)更新2所屬事務(wù)中的數(shù)據(jù)時(shí)，我們會(huì)發(fā)現(xiàn)它無(wú)法更新，并且會(huì)看到版本為1的數(shù)據(jù)。緩存一致性：緩存一致性，用什么一致性？它與數(shù)據(jù)庫(kù)一致，外部查詢(xún)每次都是一致的。那么，應(yīng)該首先在緩存和數(shù)據(jù)庫(kù)之間更新哪一個(gè)呢？有些人可能認(rèn)為我可以先更新數(shù)據(jù)庫(kù)，然后再更新緩存？但是你想過(guò)一個(gè)問(wèn)題嗎？當(dāng)用戶(hù)成功支付時(shí)，更新數(shù)據(jù)庫(kù)，但是什么？如果你仍然顯示你沒(méi)有在緩存中付費(fèi)，當(dāng)用戶(hù)頻繁點(diǎn)擊，數(shù)據(jù)庫(kù)壓力太大而無(wú)法同步到緩存時(shí)，你會(huì)感到尷尬嗎？這是一個(gè)典型的不一致。當(dāng)用戶(hù)再次付費(fèi)時(shí)，你告訴他已經(jīng)付費(fèi)了，他會(huì)罵死你。你怎么能這么做？我們可以先更新緩存，然后再更新數(shù)據(jù)庫(kù)，那有什么問(wèn)題？1） 緩存更新成功，但數(shù)據(jù)庫(kù)更新失敗，并被其他并發(fā)線程訪問(wèn)。2） 緩存消除成功，但數(shù)據(jù)庫(kù)更新失敗，也會(huì)導(dǎo)致后期數(shù)據(jù)不一致

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大的文本字段，單臺(tái)服務(wù)器）。現(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢(xún)子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫(xiě)，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫(xiě)入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢(xún)，避免聯(lián)合表查詢(xún)，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，并且您不關(guān)心投資成本，請(qǐng)使用集群或tidb