文藝云平臺建設中的那些事
文藝云平臺建設中的那些事兒發(fā)稿時間:2015-01-21 15:55:18 來源: 《中國藝術報》 中國青年網(wǎng) 我要評論(36人參與)文藝云平臺以虛擬化技術為基礎搭建起的中國文聯(lián)文藝資源云平臺(以下簡
文藝云平臺建設中的那些事兒
發(fā)稿時間:2015-01-21 15:55:18 來源: 《中國藝術報》 中國青年網(wǎng) 我要評論(36人參與)
文藝云平臺
以虛擬化技術為基礎搭建起的中國文聯(lián)文藝資源云平臺(以下簡稱云平臺),實現(xiàn)了低成本、高效、智能、統(tǒng)一的運行支撐。一方面對計算資源、存儲資源、網(wǎng)絡資源、云應用服務進行7×24小時全時區(qū)、多地域、全方位、立體式、智能化的IT 運維監(jiān)控,保障IT 系統(tǒng)安全、穩(wěn)定、可靠運行。另一方面能夠逐步為中國文聯(lián)所規(guī)劃的全部數(shù)字平臺和信息服務快速提供動態(tài)、靈活、彈性、虛擬、共享和高效的計算資源服務。云平臺第一期建設于2014年7月2日啟動施工建設,2014年9月平臺試運行,并于2014年12月完成了項目終驗,歷時6個月。
文聯(lián)系統(tǒng)內(nèi)云平臺第一期的建設在半年時間內(nèi)完成,這引起了眾多關注的目光。因為目前云平臺建設在文化傳媒行業(yè)真正切實實現(xiàn)落地的還是屈指可數(shù)的,文聯(lián)系統(tǒng)內(nèi)更是前所未
,有。正因此,在具體建設過程中,也不可避免地遇到了很多問題,進行了大量的技術攻關。今天,作為一個全程參與的建設者,筆者想來聊一聊這朵“文藝云”建設過程中的那些事兒。 “網(wǎng)絡加固”,
信息通道不“堵車”
網(wǎng)絡,被我們形象地比喻成信息化建設的高速公路,信息傳輸、接收、共享都通過這一高速公路來實現(xiàn)。網(wǎng)絡的好壞會直接影響到信息交換和資源服務質量,因此,優(yōu)質的網(wǎng)絡環(huán)境是高效云平臺建設的前提條件。那如何評價網(wǎng)絡環(huán)境的優(yōu)質與否呢?高效性、穩(wěn)定性、安全性是三大基礎指標。
網(wǎng)絡的安全性涉及方面很多,這里就暫時不說了,先談談高效性和穩(wěn)定性這兩大指標。由于中國文聯(lián)文藝資源中心的數(shù)據(jù)中心建設初期,應用平臺還沒有正式對外開放,同時業(yè)務量也沒有起來,網(wǎng)絡環(huán)境是比較簡單的,那時候的帶寬也只有50Mb ,而且是一條網(wǎng)絡專線,數(shù)據(jù)中心內(nèi)部也是單一鏈路的網(wǎng)絡架構。然而,隨著平臺業(yè)務的開展以及本期高效便捷云平臺的建設要求,之前的網(wǎng)絡環(huán)境已經(jīng)不足以支撐當前的現(xiàn)實需求。那么問題來了,網(wǎng)絡環(huán)境要怎么調整?如何做到更加優(yōu)質?
根據(jù)實際情況,為了使網(wǎng)絡環(huán)境的數(shù)據(jù)交換和信息傳輸更加高效,需要從接入帶寬和內(nèi)部數(shù)據(jù)傳輸速率兩個方面進行提升解決;而要增加網(wǎng)絡環(huán)境的穩(wěn)定性,則也要從數(shù)據(jù)中心外部鏈路穩(wěn)定和內(nèi)部鏈路穩(wěn)定兩個部分進行考慮。經(jīng)過反復討論后做出設計,外部網(wǎng)絡采用聯(lián)通、電信各100Mb 雙線接入部署,這樣一來一方面使網(wǎng)絡專線帶寬增加一倍提高了信息傳輸速率,另一方面,雙線接入可以有效地避免因某一線路出現(xiàn)問題而造成的“斷路”問題。內(nèi)部網(wǎng)絡也采用了萬兆骨干、主備兩條鏈路的基礎架構,既具備了10Gb (1Gb=1024Mb)數(shù)據(jù)交換與傳輸能力,又有了內(nèi)部兩條網(wǎng)絡通道的穩(wěn)定性。通過這種網(wǎng)絡架構設計使網(wǎng)絡的高效性與穩(wěn)定性得到有效解決。另外值得一提的是,將智能網(wǎng)絡路由選擇技術應用于聯(lián)通、電信兩條網(wǎng)絡專線上,北方地區(qū)和南方地區(qū)的用戶都可以自動選擇最快的網(wǎng)絡鏈路來訪問文藝資源數(shù)據(jù)中心的跑在云平臺上的各種服務。
“設備利舊”,
資源建設不浪費
,本次云平臺項目實施,設備利舊比例達百分之八十五以上,這成為本次建設的一大亮點,在同等類似信息化項目建設中也比較罕見。所謂利舊,就是利用和合理使用舊有設備。當然,前提是已經(jīng)有設備且設備未達使用壽命期限還可正常使用。
中國文聯(lián)自大力推動信息化建設以來,具體實施單位中國文聯(lián)文藝資源中心不斷作為,先后建立起中華文藝人才信息數(shù)據(jù)庫、文藝家社區(qū)、中國美術書法作品資源庫、文聯(lián)文獻工作平臺等資源庫和應用系統(tǒng),隨之也積累起一批服務器、存儲等硬件設備。為了使這兩年積累下來的硬件設備不被浪費,同時也由于信息化建設是一個資本密集型建設,中國文聯(lián)信息化建設資金相對短缺,而云平臺所需的硬件設備資源量也是較大的,為了最大可能的節(jié)約投資、滿足建設需要,在技術可行性前提下,云平臺就充分利用了原有的硬件資源。所利用的設備包括服務器、存儲設備、防火墻以及網(wǎng)絡交換機等。
面對這么多設備的利舊,如何把它們配置到最佳資源位置并讓它們最高效地被使用起來是擺在項目組面前的主要問題。綜合考慮了設備性能和自身存儲容量之后,最后決定計算性能和存儲性能較好的設備用于云平臺計算資源池和存儲資源池更佳,而對于計算性能和存儲性能相對差一點的則用來做輔助計算和存儲。項目組將中高端的服務器設備增配了設備網(wǎng)卡和內(nèi)存之后統(tǒng)一放入云平臺的計算資源池,用于以后劃分虛擬主機提供主機服務;將其他服務器放入網(wǎng)絡中的開發(fā)測試區(qū),作為應用系統(tǒng)開發(fā)環(huán)境和測試環(huán)境。因為不論是開發(fā)還是測試環(huán)境都不是對互聯(lián)網(wǎng)發(fā)布應用的正式環(huán)境,它們對服務器性能要求并不高,普通服務器完全可以“勝任”。對于存儲設備也是一樣,中高端的存儲設備被并入云平臺的存儲資源池用于劃分虛擬存儲空間提供存儲服務;剩下的存儲雖然性能上并不高,但是存儲容量大,因此可以很好地被用于搭建備份系統(tǒng),存放著云平臺上數(shù)據(jù)的“另一份”。至于防火墻和交換機的利舊要容易得多,前者屬于安全類設備,放在云平臺網(wǎng)絡入口處為平臺安全把第一關;后者是網(wǎng)絡設備,被很方便地用于整個云平臺網(wǎng)絡拓撲中的區(qū)域連接處實現(xiàn)信息交換。這整個利舊策略看似簡單,但實際上頗費了項目組的心思,最后的安排不僅使絕大多數(shù)舊有設備得到有效利用,而且使它們在最合適自己的“崗位”上充分發(fā)揮價值。
“資源整合”,
統(tǒng)一管理不受限
一般對于一個傳統(tǒng)數(shù)據(jù)中心來說,其內(nèi)部某一類型硬件設備的部署不外乎兩種方式。以服務器為例,一種方式是清一色地采用同一品牌的服務器進行部署,另一種方式是采用多個品牌的服務器進行綜合部署。第一種方式下,因為是同一廠家的服務器,其優(yōu)點自然是方便實施與管理,缺點就是一旦形成應用規(guī)模便對特定廠家產(chǎn)生依賴性,易受“綁架”。而第二種
,方式下,由于部署了多個品牌的服務器因此技術支持與設備服務來自多個廠家,其優(yōu)點就是設備選用更有主動權,不會對特定廠家產(chǎn)生依賴,缺點則是品牌較多,技術要求高,極其不易管理。
經(jīng)過兩年的建設,數(shù)據(jù)中心IT 基礎設施初具規(guī)模,但不論從硬件服務器看還是從網(wǎng)絡設備、存儲設備來看,品牌都很單一,這正是上面的第一種部署方式??梢灶A見,隨著應用規(guī)模的不斷擴大,產(chǎn)品依賴性會越來越明顯,弊端會逐漸顯現(xiàn)。同時,伴隨著國產(chǎn)化進程的不斷推進,不論哪一類設備都會越來越多地選擇國產(chǎn)品牌來部署,若第一種部署方式不加以改變,后期想進行國產(chǎn)化替代都會很麻煩。如何避免單一品牌依賴,又能夠做到方便地管理使用?這就是云平臺建設需要解決的另外一個關鍵問題。
要解決這個問題,唯有打破“單一壟斷”,采用多個廠家的硬件設備。而要實現(xiàn)對多個廠家的硬件設備進行統(tǒng)一管理和便捷使用,正是虛擬化技術可以大顯身手的地方。因此在云平臺的建設過程中,項目組對硬件設備品牌做了改進。服務器方面,云平臺中有DELL 的中高端刀片服務器與IBM 的中高端機架式服務器;存儲方面,有DELL 的SC8000系列中高端存儲與EMC 高端存儲設備。在網(wǎng)絡安全設備方面也嘗試更多地采用國產(chǎn)設備。比如網(wǎng)絡方面,有華為二層、三層交換機,也有瞻博數(shù)據(jù)中心級交換機和三層交換機設備;安全設備方面,更是基本囊括了深信服、天融信、山石等安全廠商的安全設備產(chǎn)品。
減少了對某一個特定硬件廠家的依賴風險,同時又要降低管理難度、提高資源使用和管理的效率,則必須借助虛擬化手段發(fā)揮效力。例如對于多品牌服務器設備和存儲設備的統(tǒng)一管理,都是通過虛擬化來整合實現(xiàn)的。拿服務器的統(tǒng)一管理來說,首先需要將服務器資源進行資源池化,服務器資源池化在本次云平臺建設中分別通過VMWare 和Ctrix 虛擬化技術將計算資源“打散”劃入業(yè)務區(qū)計算資源池和DMZ 區(qū)計算資源池,然后通過文藝云平臺管理軟件將其整合做統(tǒng)一管理。存儲資源則通過虛擬化網(wǎng)關將不同廠家的存儲設備進行資源“池化”,再交由文藝云平臺進行統(tǒng)一調度管理。這樣,通過虛擬化技術和云管理平臺實現(xiàn)了對服務器資源和存儲資源的各自整合,云管理平臺的使用者在進行資源管理時真正做到了不需要關心服務器或存儲是什么品牌的設備,只管“隨心所欲”地按需索取或調配資源即可。
“平臺遷移”,
潛移默化步云端
,其實,云平臺建設在設備利舊之前還需要先解決另一個問題,而且還是至關重要的問題——平臺遷移。眾所周知,數(shù)據(jù)中心積累下的服務器、存儲等設備是隨著資源庫建設、應用平臺建設項目而來,其上都運行著各系統(tǒng)和平臺并存儲著資源庫的重要資源數(shù)據(jù)。平臺的順利遷移是設備利舊的前提條件,云平臺的整體建設步驟正是“搭建環(huán)境,平臺遷移,設備利舊”。
運行在舊有服務器上的有中華文藝人才信息數(shù)據(jù)庫、文藝家信息互動服務平臺(文藝家社區(qū))、文藝工作文獻平臺、中國美術書法作品資源庫以及統(tǒng)一身份認證系統(tǒng)這五個業(yè)務系統(tǒng)或應用平臺。這五個應用平臺都是在互聯(lián)網(wǎng)正式運行并提供互聯(lián)網(wǎng)服務的平臺,因此如何使這五大應用平臺實現(xiàn)從傳統(tǒng)物理服務器向云平臺環(huán)境的遷移并保證應用不中斷,成為擺在面前的一個大難題。要解決這個難題,就需要對平臺環(huán)境遷移和應用切換兩大環(huán)節(jié)進行處理。五大平臺原有網(wǎng)絡環(huán)境較簡單,所有服務器集中在同一網(wǎng)絡區(qū)域,沒有詳細劃分,從安全及管理角度存在一些問題。在云平臺網(wǎng)絡環(huán)境里,對原有的網(wǎng)絡進行重新規(guī)劃,劃分為應用服務區(qū)和DMZ 區(qū),并根據(jù)各個平臺或系統(tǒng)的不同業(yè)務需求及服務內(nèi)容,將現(xiàn)有業(yè)務系統(tǒng)虛擬服務器合理地部署到這兩個新的網(wǎng)絡分區(qū)當中。具體的遷移方式有兩種,一種是通過使用虛擬化軟件配套的P2V 工具將現(xiàn)有應用服務器轉化為虛擬機,遷移至云平臺環(huán)境中去;這種方式是針對主要業(yè)務系統(tǒng)使用。另一種是針對結構簡單同時需要借助云平臺遷移機會進行系統(tǒng)升級的系統(tǒng),這種方式下要在虛擬化平臺劃分出與現(xiàn)有系統(tǒng)硬件平臺性能相仿的虛擬機,然后由應用廠商重新部署應用。
五大平臺遷移部署后,應用切換是完成整個平臺遷移的最后一步。至于如何讓使用者不知不覺從訪問物理服務器上的應用平臺平滑變成訪問云平臺環(huán)境中的應用平臺,對于我
,們來說反而并不算一個大問題。這是由于我們的系統(tǒng)目前對實時性要求并不太高,所以可以在“閑時”運用域名轉發(fā)和地址重定向技術來快速解決這一問題。
云平臺一期建設中,其實還有很多很多諸如此類的難題和細節(jié),項目組就是在這些細節(jié)上一點一點摳,最后才有了今天的這一朵初具雛形的“文藝云”。接下來的事,就是怎樣把這朵“云”做大、做厚、做得更好了。