mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？mysql在常規(guī)配置下，一般只能承受2000萬(wàn)的數(shù)據(jù)量(同時(shí)讀寫(xiě)，且表中有大文本字段，單臺(tái)服務(wù)器)?，F(xiàn)在超過(guò)1億，

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

mysql在常規(guī)配置下，一般只能承受2000萬(wàn)的數(shù)據(jù)量(同時(shí)讀寫(xiě)，且表中有大文本字段，單臺(tái)服務(wù)器)?，F(xiàn)在超過(guò)1億，并不斷增加的情況下，建議如下處理：

1 分表。可以按時(shí)間，或按一定的規(guī)則拆分，做到查詢(xún)某一條數(shù)據(jù)庫(kù)，盡量在一個(gè)子表中即可。這是最有效的方法

2 讀寫(xiě)分離。尤其是寫(xiě)入，放在新表中，定期進(jìn)行同步。如果其中記錄不斷有update，最好將寫(xiě)的數(shù)據(jù)放在 redis中，定期同步

3 表的大文本字段分離出來(lái)，成為獨(dú)立的新表。大文本字段，可以使用NOSQL數(shù)據(jù)庫(kù)

4 優(yōu)化架構(gòu)，或優(yōu)化SQL查詢(xún)，避免聯(lián)表查詢(xún)，盡量不要用count(*)， in，遞歸等消耗性能的語(yǔ)句

5 用內(nèi)存緩存，或在前端讀的時(shí)候，增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

上面是低成本的管理方法，基本幾臺(tái)服務(wù)器即可搞定，但是管理起來(lái)麻煩一些。

當(dāng)然，如果整體數(shù)據(jù)量特別大的話(huà)，也不在乎投入費(fèi)用的話(huà)，用集群吧，用TIDB吧

簡(jiǎn)述萬(wàn)方數(shù)據(jù)庫(kù)檢索方法？

查詢(xún)方法如下：

1、萬(wàn)方數(shù)據(jù)庫(kù)網(wǎng)站上方的檢索框如下圖。

2、高級(jí)檢索在“檢索”欄的右邊。

注：

查找時(shí)確定檢索詞，可以提供一段文本（比如科學(xué)技術(shù)要點(diǎn)），由系統(tǒng)給推薦檢索詞。

使用“主題”字段檢索：主題字段包含標(biāo)題，關(guān)鍵詞，摘要。

萬(wàn)方數(shù)據(jù)庫(kù)是由萬(wàn)方數(shù)據(jù)公司開(kāi)發(fā)的，涵蓋期刊、會(huì)議紀(jì)要、論文、學(xué)術(shù)成果、學(xué)術(shù)會(huì)議論文的大型網(wǎng)絡(luò)數(shù)據(jù)庫(kù)也是和中國(guó)知網(wǎng)齊名的中國(guó)專(zhuān)業(yè)的學(xué)術(shù)數(shù)據(jù)庫(kù)。其開(kāi)發(fā)公司--萬(wàn)方數(shù)據(jù)股份有限公司是國(guó)內(nèi)第一家以信息服務(wù)為核心的股份制高新技術(shù)企業(yè)，是在互聯(lián)網(wǎng)領(lǐng)域，集信息資源產(chǎn)品、信息增值服務(wù)和信息處理方案為一體的綜合信息服務(wù)商。

如何利用數(shù)據(jù)庫(kù)的高級(jí)檢索功能？

首先數(shù)據(jù)庫(kù)分兩種:關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。 非關(guān)系型數(shù)據(jù)庫(kù)又分為面向?qū)ο髷?shù)據(jù)庫(kù)、反向索引數(shù)據(jù)庫(kù)等。這些數(shù)據(jù)庫(kù)之間的檢索方式都是不一樣的。

這里我給你重點(diǎn)講一下我熟悉的關(guān)系型數(shù)據(jù)庫(kù)和反向索引數(shù)據(jù)庫(kù)。

1.關(guān)系型數(shù)據(jù)庫(kù)的檢索方式。現(xiàn)在所有關(guān)系型數(shù)據(jù)庫(kù)基本上都是支持絕大部分常用的sql協(xié)議，所以解鎖的方式主要以sql查詢(xún)的方式。而你說(shuō)的高級(jí)檢索的話(huà)，無(wú)非就是如何建立索引，加快檢索速度。當(dāng)然，索引不是越多越好，因索引有存儲(chǔ)開(kāi)銷(xiāo)，也會(huì)影響數(shù)據(jù)插入速度。

2.反向索引數(shù)據(jù)庫(kù)的檢索。反向索引數(shù)據(jù)庫(kù)，比如，搜索引擎用的就是這類(lèi)數(shù)據(jù)庫(kù)。當(dāng)然他們做了一些分布式以及大數(shù)據(jù)整合，來(lái)滿(mǎn)足他們的業(yè)務(wù)吞吐量。但核心仍是反向索引數(shù)據(jù)庫(kù)，反向索引數(shù)據(jù)庫(kù)的高級(jí)檢索體現(xiàn)在如何把權(quán)重更好地計(jì)算出來(lái)，從而檢索出用戶(hù)需要的數(shù)據(jù)，所以本質(zhì)上是權(quán)重結(jié)構(gòu)的設(shè)計(jì)。

好了，數(shù)據(jù)庫(kù)的高級(jí)檢索方式總體就是這樣，希望有幫到你。