公開 內(nèi)部公開 機密 絕密√前臺門戶網(wǎng)站架構(gòu)設(shè)計方案北京寬連十方數(shù)字技術(shù)有限公司2012-74/10/2013版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

前臺門戶網(wǎng)站架構(gòu)

設(shè)計方案

北京寬連十方數(shù)字技術(shù)有限公司

2012-7

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

目 錄

1

2

3 設(shè)計思路 ........................................................................................................................................................ 3 系統(tǒng)結(jié)構(gòu) ........................................................................................................................................................ 3 網(wǎng)絡(luò)規(guī)劃及性能計算 .................................................................................................. 錯誤！未定義書簽。

3.1 網(wǎng)絡(luò)架構(gòu) ................................................................................................................................................ 8

3.2 網(wǎng)絡(luò)架構(gòu)說明 ...................................................................................................... 錯誤！未定義書簽。

3.2.1 采用雙防火墻雙交換機做網(wǎng)絡(luò)冗余，保障平臺服務(wù) . ................................................................ 8

3.2.2 采用硬件設(shè)備負載均衡器，實現(xiàn)網(wǎng)絡(luò)流量的負載均衡 . ............................................................ 8

3.3 系統(tǒng)測算 .............................................................................................................. 錯誤！未定義書簽。

3.3.1 系統(tǒng)處理能力要求 ...................................................................................................................... 34

3.3.2 業(yè)務(wù)處理能力要求 ...................................................................................... 錯誤！未定義書簽。

3.3.3 系統(tǒng)話務(wù)模型 .............................................................................................. 錯誤！未定義書簽。

3.4 配置核算 .............................................................................................................. 錯誤！未定義書簽。

3.4.1 數(shù)據(jù)庫服務(wù)器性能核算 .............................................................................. 錯誤！未定義書簽。

3.4.2 WEB 服務(wù)器集群性能核算 . ......................................................................... 錯誤！未定義書簽。

3.4.3 WEB 服務(wù)器集群內(nèi)存性能核算 . ................................................................. 錯誤！未定義書簽。

3.4.4 網(wǎng)絡(luò)帶寬 ...................................................................................................................................... 35 4 性能模擬測試及性能推算 .......................................................................................... 錯誤！未定義書簽。

4.1 測試環(huán)境 .............................................................................................................. 錯誤！未定義書簽。

4.2 測試結(jié)果 .............................................................................................................. 錯誤！未定義書簽。

4.2.1 1個客戶端模擬不同線和并發(fā)請求結(jié)果 . .................................................... 錯誤！未定義書簽。

4.2.2 10個客戶端請求 .......................................................................................... 錯誤！未定義書簽。

4.3 結(jié)果分析 .............................................................................................................. 錯誤！未定義書簽。

4.4 根據(jù)測試結(jié)果推算 .............................................................................................. 錯誤！未定義書簽。

4.5 設(shè)備清單 .............................................................................................................................................. 35

4.5.1 硬件設(shè)備配置清單 ...................................................................................... 錯誤！未定義書簽。

4.5.2 設(shè)備技術(shù)規(guī)格 .............................................................................................. 錯誤！未定義書簽。

4.6 平臺擴容的建議 .................................................................................................................................. 35

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

1 網(wǎng)站的性能瓶頸分析

網(wǎng)站的性能影響因素很多，下面主要從如下4個方面進行分析說明：

1) 網(wǎng)絡(luò)負載

a) 公網(wǎng)負載

b) 內(nèi)網(wǎng)負載

2) WEB 應(yīng)用服務(wù)器性能

a) CPU

b) 存儲，I/O訪問

c) 內(nèi)存

d) 并發(fā)TCP/IP連接數(shù)

3) 數(shù)據(jù)庫服務(wù)器性能

a) 數(shù)據(jù)庫參數(shù)配置

b) 服務(wù)器性能（CPU 、內(nèi)存、存儲）

c) 數(shù)據(jù)結(jié)構(gòu)的合理性

4) 不同WEB 應(yīng)用的處理方式而對不同的性能瓶頸

a) 對于靜態(tài)的網(wǎng)站：

靜態(tài)的HTML 頁面嚴格地由標準的HTML 標示語言構(gòu)成，并不需要服務(wù)器端即時運算生成。這意味著，對一個靜態(tài)HTML 文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳?。從服?wù)器運行的那個時間片來看，這個傳輸過程僅僅占用了很小的CPU 資源。對于靜態(tài)HTML 的訪問瓶頸為：網(wǎng)絡(luò)帶寬、磁盤I/O以及cache(高速緩沖存儲器) 。 b) 對于動態(tài)頁面

因為服務(wù)器解析動態(tài)頁面必須在其傳輸?shù)娇蛻舳饲熬屯ㄟ^服務(wù)器來進行解釋，這樣就會給應(yīng)用服務(wù)器添加額外的性能消耗，如果進一步要訪問數(shù)據(jù)庫，則會增加數(shù)據(jù)庫服務(wù)器的性能消耗，則動態(tài)頁面還有額外的瓶頸：應(yīng)用服務(wù)器的性能，數(shù)據(jù)庫服務(wù)器的性能。 2 系統(tǒng)架構(gòu)設(shè)計

2.1 總體思路

為提高網(wǎng)站的高并發(fā)性能, 提高開發(fā)效率及運營效率, 主要按如下幾個思路進行規(guī)劃設(shè)計:

2.1.1 負載均衡

1) 四層交換負載均衡：

采用負載均衡器來實現(xiàn)硬件級的四層交換負載均衡，或采用LVS 來實現(xiàn)軟件的四層交換負載均衡。

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

2) 通過第三方軟件來實現(xiàn)負載均衡, 同時實現(xiàn)頁面請求的緩存。

通過Nginx 實現(xiàn)反向代理服務(wù)器集群，同時搭建squid 集群以作為靜態(tài)頁面和圖片的緩存。

3) 通過web 服務(wù)器的配置來實現(xiàn)負載均衡

即通過apache 或是Nginx 將客戶請求均衡的分給tomcat1,tomcat2.... 去處理。

2.1.2 WEB 應(yīng)用開發(fā)架構(gòu)思路

1) 應(yīng)用開發(fā)實現(xiàn)MVC 架構(gòu)三層架構(gòu)進行web 應(yīng)用開發(fā)

2) 頁面盡可能靜態(tài)化以減少動態(tài)數(shù)據(jù)訪問，如果是資訊類的網(wǎng)站可以考慮采用第三方開源

的CMS 系統(tǒng)來生成靜態(tài)的內(nèi)容頁面。

3) 采用Oscache 實現(xiàn)頁面緩存, 采用Memcached 實現(xiàn)數(shù)據(jù)緩存

4) 采用獨立的圖片服務(wù)器集群來實現(xiàn)圖片資源的存儲及WEB 請求

2.1.3 數(shù)據(jù)存儲的設(shè)計思路

1) 數(shù)據(jù)庫拆分, 把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫分離，對生產(chǎn)數(shù)據(jù)庫采用RAC 實現(xiàn)數(shù)據(jù)庫的集

群。

2) 采用高效的網(wǎng)絡(luò)文件共享策略，采用圖片服務(wù)器來實現(xiàn)頁面的圖片存儲。

2.1.4 不同網(wǎng)絡(luò)用戶訪問考慮

1) 通過引入CDN 來解決不同網(wǎng)絡(luò)服務(wù)商的接入速度問題，一般只能解決靜態(tài)頁面的訪問問題。

2) 在不同運營商機房部署服務(wù)器，通過鏡像技術(shù)來實現(xiàn)不同網(wǎng)絡(luò)服務(wù)商的接入速度問題。

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

2.2 總體架構(gòu)

2.2.1 網(wǎng)站的系統(tǒng)分層架構(gòu)

4/10/2013 版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

2.2.2 網(wǎng)站的物理架構(gòu)

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

2.2.3 網(wǎng)站的開發(fā)架構(gòu)

通訊層

消息中心

業(yè)務(wù)層持久層數(shù)據(jù)層

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

2.2.4 網(wǎng)絡(luò)拓撲結(jié)構(gòu)

主防火墻

備防火墻

磁盤陣列柜磁盤陣列柜

備注：

1) 采用雙防火墻雙交換機做網(wǎng)絡(luò)冗余，保障平臺服務(wù)

采用雙防火墻通知接通2線路互聯(lián)網(wǎng)接入，設(shè)備之間采用VRRP 協(xié)議，在任何一個防火墻、互聯(lián)網(wǎng)發(fā)生故障后均可自動將流量切換到另一端，保證網(wǎng)站的正運行，設(shè)備或網(wǎng)絡(luò)恢復(fù)后，自動恢復(fù)。

采用雙千兆交換機分別接在2臺防火墻上，當某臺設(shè)備或者網(wǎng)絡(luò)鏈路發(fā)生故障后，好設(shè)備自動接管已壞設(shè)備的工作，不影響網(wǎng)站的整體運行，根據(jù)業(yè)務(wù)及真實服務(wù)器的數(shù)量，交換機可以隨時增加。

2) 采用硬件設(shè)備負載均衡器，實現(xiàn)網(wǎng)絡(luò)流量的負載均衡

使用硬件設(shè)備負載均衡器，將網(wǎng)絡(luò)流量均衡的分擔到WEB 服務(wù)器集群各節(jié)點服務(wù)器，保障平臺服務(wù)器資源均衡的使用。

3) 采用代理服務(wù)器，實現(xiàn)軟件級的網(wǎng)絡(luò)負載均衡。

4) 數(shù)據(jù)庫服務(wù)器分離成生產(chǎn)數(shù)據(jù)庫集群和查詢數(shù)據(jù)庫集群，實現(xiàn)生產(chǎn)讀寫與后臺查詢統(tǒng)計

進行分離，同時生產(chǎn)數(shù)據(jù)庫采用rac 技術(shù)進行

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

2.3 架構(gòu)涉及技術(shù)的詳解

2.3.1 負載均衡

1. 基于DNS 的負載均衡--一個域名綁定多個IP

DNS 負載均衡技術(shù)是最早的負載均衡解決方案，它是通過DNS 服務(wù)中的隨機名字解析來實現(xiàn)的，在DNS 服務(wù)器中，可以為多個不同的地址配置同一個名字，而最終查詢這個名字的客戶機將在解析這個名字時得到其中的一個地址。因此，對于同一個名字，不同的客戶機會得到不同的地址，它們也就訪問不同地址上的Web 服務(wù)器，從而達到負載均衡的目的。

這種技術(shù)的優(yōu)點是，實現(xiàn)簡單、實施容易、成本低、適用于大多數(shù)TCP/IP應(yīng)用；但是，其缺點也非常明顯，首先這種方案不是真正意義上的負載均衡，DNS 服務(wù)器將Http 請求平均地分配到后臺的Web 服務(wù)器上，而不考慮每個Web 服務(wù)器當前的負載情況；如果后臺的Web 服務(wù)器的配置和處理能力不同，最慢的 Web 服務(wù)器將成為系統(tǒng)的瓶頸，處理能力強的服務(wù)器不能充分發(fā)揮作用；其次未考慮容錯，如果后臺的某臺Web 服務(wù)器出現(xiàn)故障，DNS 服務(wù)器仍然會把DNS 請求分配到這臺故障服務(wù)器上，導致不能響應(yīng)客戶端。最后一點是致命的，有可能造成相當一部分客戶不能享受Web 服務(wù)，并且由于DNS 緩存的原因，所造成的后果要持續(xù)相當長一段時間(一般DNS 的刷新周期約為24小時) 。所以在國外最新的建設(shè)中心Web 站點方案中，已經(jīng)很少采用這種方案了。

2. 通過硬件四層交換實現(xiàn)負載均衡

在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如Alteon 、F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。Yahoo 中國當初接近2000臺服務(wù)器使用了三四臺Alteon 就搞定了

3. 通過軟件四層交換實現(xiàn)負載均衡

軟件四層交換我們可以使用Linux 上常用的LVS 來解決，LVS 就是Linux Virtual Server，他提供了基于心跳線heartbeat 的實時災(zāi)難應(yīng)對解決方案，提高系統(tǒng)的魯棒性，同時可供了靈活的虛擬VIP 配置和管理功能，可以同時滿足多種應(yīng)用需求，這對于分布式的系統(tǒng)來說必不可少。

一個典型的使用負載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建squid 集群，這種思路在很多大型網(wǎng)站包括搜索引擎上被采用，這樣的架構(gòu)低成本、高性能還有很強的擴張性。

4. 通過反向代理服務(wù)器實現(xiàn)負載均衡

反向代理服務(wù)器又稱為 WEB 加速服務(wù)器，它位于 WEB 服務(wù)器的前端，充當WEB 服務(wù)器的內(nèi)容緩存器, 反向代理服務(wù)器是針對 WEB 服務(wù)器設(shè)置的，后臺 WEB 服務(wù)器對互聯(lián)網(wǎng)用戶是透明的，用戶只能看到反向代理服務(wù)器的地址，不清楚后臺 WEB 服務(wù)器是如何組織架構(gòu)的。當互聯(lián)網(wǎng)用戶請求 WEB 服務(wù)時，DNS 將請求的域名解析為反向代理服務(wù)器的 IP 地址，這樣 URL 請求將被發(fā)送到反向代理服務(wù)器，由反向代理服務(wù)器負責處理用戶的請求與應(yīng)答、與后臺 WEB 服務(wù)器交互。利用

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第

公開 內(nèi)部公開 機密 絕密√

反向代理服務(wù)器減輕了后臺 WEB 服務(wù)器的負載，提高了訪問速度，同時避免了因用戶直接與 WEB 服務(wù)器通信帶來的安全隱患。

目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。

Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 Rambler.ru 站點開發(fā)的，是一個高性能的 HTTP 和反向代理服務(wù)器，也是一個 IMAP/POP3/SMTP 代理服務(wù)器。

Squid 是由美國政府大力資助的一項研究計劃，其目的為解決網(wǎng)絡(luò)帶寬不足的問題，支持HTTP ，HTTPS ，F(xiàn)TP 等多種協(xié)議，是現(xiàn)在 Unix 系統(tǒng)上使用、最多功能也最完整的一套軟體。

1） Squid

Squid 是一個開源的軟件，利用它的反向代理技術(shù)可以提高網(wǎng)站系統(tǒng)的訪問速度, 下面將重點介紹 Squid 反向代理的實現(xiàn)原理和在提高網(wǎng)站性能方面的應(yīng)用。

Squid 反向代理服務(wù)器位于本地 WEB 服務(wù)器和 Internet 之間 , 組織架構(gòu)如下圖：

客戶端請求訪問 WEB 服務(wù)時，DNS 將訪問的域名解析為 Squid 反向代理服務(wù)器的 IP 地址，這樣客戶端的 URL 請求將被發(fā)送到反向代理服務(wù)器。如果 Squid 反向代理服務(wù)器中緩存了該請求

4/10/2013

版權(quán)所有，侵權(quán)必究All rights reserved 第