海量數(shù)據(jù) 海量數(shù)據(jù)庫解決方案?
海量數(shù)據(jù)庫解決方案?將整體內(nèi)容分為兩部分,在第1部分中以影響數(shù)據(jù)讀取效率的所有要素為類別,對其各自的概念、原理、 特征、應用準則,以及表的結(jié)構(gòu)特征、多樣化的索引類型、優(yōu)化器的內(nèi)部作用、優(yōu)化器為各種結(jié)果
海量數(shù)據(jù)庫解決方案?
將整體內(nèi)容分為兩部分,在第1部分中以影響數(shù)據(jù)讀取效率的所有要素為類別,對其各自的概念、原理、 特征、應用準則,以及表的結(jié)構(gòu)特征、多樣化的索引類型、優(yōu)化器的內(nèi)部作用、優(yōu)化器為各種結(jié)果制定的執(zhí)行計劃予以詳細說明,并以對優(yōu)化器的正確理解為基礎(chǔ),提出對執(zhí)行計劃和執(zhí)行速度產(chǎn)生最大影響的索引構(gòu)建戰(zhàn)略方案;在第2部分中主要介紹提高數(shù)據(jù)讀取效率的具體戰(zhàn)略方案,在這部分中介紹與數(shù)據(jù)讀取效率相關(guān)的局部范圍掃描的原理和具體應用方法,以及對被認為是提高數(shù)據(jù)庫使用效率基礎(chǔ)的表連接的所有類型予以詳細說明。
mysql表數(shù)據(jù)量太大,達到了1億多條數(shù)據(jù),除了分庫分表之外,還有沒有其他的解決方式?
mysql在常規(guī)配置下,一般只能承受2000萬的數(shù)據(jù)量(同時讀寫,且表中有大文本字段,單臺服務(wù)器)。現(xiàn)在超過1億,并不斷增加的情況下,建議如下處理:
1 分表??梢园磿r間,或按一定的規(guī)則拆分,做到查詢某一條數(shù)據(jù)庫,盡量在一個子表中即可。這是最有效的方法
2 讀寫分離。尤其是寫入,放在新表中,定期進行同步。如果其中記錄不斷有update,最好將寫的數(shù)據(jù)放在 redis中,定期同步
3 表的大文本字段分離出來,成為獨立的新表。大文本字段,可以使用NOSQL數(shù)據(jù)庫
4 優(yōu)化架構(gòu),或優(yōu)化SQL查詢,避免聯(lián)表查詢,盡量不要用count(*), in,遞歸等消耗性能的語句
5 用內(nèi)存緩存,或在前端讀的時候,增加緩存數(shù)據(jù)庫。重復讀取時,直接從緩存中讀取。
上面是低成本的管理方法,基本幾臺服務(wù)器即可搞定,但是管理起來麻煩一些。
當然,如果整體數(shù)據(jù)量特別大的話,也不在乎投入費用的話,用集群吧,用TIDB吧