基于服務(wù)數(shù)據(jù)挖掘的DNS性能優(yōu)化的方法研究
浙江工業(yè)大學(xué)碩士學(xué)位論文基于服務(wù)數(shù)據(jù)挖掘的DNS性能優(yōu)化的方法研究作者姓名:蘇珊珊指導(dǎo)教師:陳慶章教授浙江工業(yè)大學(xué)信息工程學(xué)院2010年10月16日 ,Dissertati
浙江工業(yè)大學(xué)碩士學(xué)位論文
基于服務(wù)數(shù)據(jù)挖掘的DNS性能優(yōu)化的方法研究
作者姓名:蘇珊珊
指導(dǎo)教師:陳慶章教授
浙江工業(yè)大學(xué)信息工程學(xué)院
2010年10月16日
,DissertationSubmittedtoZhejiangUniversityofTechnology
fortheDegreeofMaster
Service--basedDataMiningMethodforDNS
PerformanceOptimizationCandidate:ShanShanSuAdvisor:QingZhangChenCollegeofInformationEngineeringZhejiangUniversityofTechnology
oct16,2010
,浙江工業(yè)大學(xué)
學(xué)位論文原創(chuàng)性聲明
本人鄭重聲明:所提交的學(xué)位論文是本人在導(dǎo)師的指導(dǎo)下,獨(dú)立進(jìn)行研究工作所取得的研究成果。除文中已經(jīng)加以標(biāo)注引用的內(nèi)容外,本論文不包含其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果,也不含為獲得浙江工業(yè)大學(xué)或其它教育機(jī)構(gòu)的學(xué)位證書(shū)而使用過(guò)的材料。對(duì)本文的研究作出重要貢獻(xiàn)的個(gè)人和集體,均已在文中以明確方式標(biāo)明。本人承擔(dān)本聲明的法律責(zé)任。
作者簽名:0知沁卵日期:>olo年f渺日
學(xué)位論文版權(quán)使用授權(quán)書(shū)
本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定,同意學(xué)校保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版,允許論文被查閱和借閱。本人授權(quán)浙江工業(yè)大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索,可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。
本學(xué)位論文屬于
1、保密口,在年解密后適用本授權(quán)書(shū)。
2、不保密叭
(請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打“√”)
作者簽名:
導(dǎo)師簽名:日期:卯j牟1"7,-月嘶p耖I胡z胡日期:如t聲,V●一
,基于服務(wù)數(shù)據(jù)挖掘的DNS性能優(yōu)化的方法研究
摘要
域名系統(tǒng)是互聯(lián)網(wǎng)中最重要的基礎(chǔ)設(shè)施和中樞神經(jīng)系統(tǒng),它的服務(wù)質(zhì)量是衡量互聯(lián)網(wǎng)服務(wù)提供商服務(wù)品質(zhì)的重要參數(shù)。隨著因特網(wǎng)用戶(hù)規(guī)模的發(fā)展,域名系統(tǒng)日益成為保障整體網(wǎng)絡(luò)結(jié)構(gòu)正常運(yùn)作最為重要的部分之一。域名系統(tǒng)的故障會(huì)直接造成用戶(hù)無(wú)法訪(fǎng)問(wèn)網(wǎng)絡(luò)資源,所以各大網(wǎng)絡(luò)運(yùn)營(yíng)商越來(lái)越重視域名系統(tǒng)安全問(wèn)題。同時(shí)隨著用戶(hù)規(guī)模的發(fā)展,域名系統(tǒng)的服務(wù)容量擴(kuò)充問(wèn)題也擺在了各大運(yùn)營(yíng)商面前,對(duì)域名系統(tǒng)如何進(jìn)行擴(kuò)容,何時(shí)擴(kuò)容,而擴(kuò)容的依據(jù)又是什么?都是需要重視和解決的問(wèn)題。
傳統(tǒng)的依靠人工評(píng)估來(lái)實(shí)現(xiàn)域名系統(tǒng)擴(kuò)容和性能優(yōu)化的作法,常常會(huì)出現(xiàn)要么滿(mǎn)足不了實(shí)際需求,不得不再次擴(kuò)容,要么是擴(kuò)容余量太大,造成資源浪費(fèi)。為實(shí)現(xiàn)以客觀依據(jù)為基礎(chǔ)的域名服務(wù)系統(tǒng)規(guī)劃和性能優(yōu)化,本研究采用數(shù)據(jù)挖掘技術(shù)對(duì)某電信運(yùn)營(yíng)商城域網(wǎng)內(nèi)現(xiàn)有域名服務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行深度處理,對(duì)其承載特性進(jìn)行量化分析。通過(guò)對(duì)DNS系統(tǒng)的解析請(qǐng)求進(jìn)行完整地采集、統(tǒng)計(jì)和挖掘,,獲知域名系統(tǒng)負(fù)載的總量、時(shí)域特征、解析對(duì)象及寬帶撥號(hào)用戶(hù)負(fù)載的地域分布,精確地量化DNS服務(wù)器網(wǎng)絡(luò)流量及承載能力。通過(guò)數(shù)據(jù)挖掘和量化分析,針對(duì)原有公共域名服務(wù)系統(tǒng)采用傳統(tǒng)的單機(jī)單地址結(jié)構(gòu),系統(tǒng)存在多故障隱患點(diǎn)、抗攻擊能力弱、服務(wù)可用性低、服務(wù)器負(fù)載調(diào)控手段有限等一系列問(wèn)題,給出DNS優(yōu)化的方案。
本研究主要工作和貢獻(xiàn)是:
1.針對(duì)DNS系統(tǒng)的解析請(qǐng)求,采用SNMP工具和SYSLOG服務(wù)器分別對(duì)域名服務(wù)器的流量和日志進(jìn)行全量數(shù)據(jù)采集,并對(duì)服務(wù)數(shù)據(jù)進(jìn)行挖掘。首次提出以量化方法標(biāo)定某電信運(yùn)營(yíng)商DNS服務(wù)系統(tǒng)的承載能力,確定DNS系統(tǒng)的服務(wù)承載模型。
2.建立以Anycast為技術(shù)基礎(chǔ)的DNS服務(wù)系統(tǒng),在增強(qiáng)系統(tǒng)可靠性和可擴(kuò)展性的同時(shí)保持用戶(hù)界面的唯一性。根據(jù)數(shù)據(jù)挖掘分析結(jié)果,給出DNS服務(wù)系統(tǒng)優(yōu)化方案,使得單臺(tái)服務(wù)器吞吐量,單機(jī)解析成功率,平均解析延時(shí)等指標(biāo)都得到大幅度提高。
3.重新設(shè)計(jì)DNS服務(wù)系統(tǒng)的安全防護(hù)體系,在確保系統(tǒng)安全的同時(shí)取消原系統(tǒng)中的性能和可靠性瓶頸,同時(shí)全系統(tǒng)的抗DoS攻擊模式由單機(jī)轉(zhuǎn)變?yōu)榧骸?/p> ,
4.建立和完善DNS服務(wù)監(jiān)測(cè)系統(tǒng),使該系統(tǒng)不僅覆蓋原有網(wǎng)管軟件的所有監(jiān)測(cè)項(xiàng)目,而且將覆蓋原系統(tǒng)未覆蓋的CPU負(fù)載、內(nèi)存利用量、交換區(qū)利用量、系統(tǒng)進(jìn)程數(shù)、在線(xiàn)時(shí)間、網(wǎng)絡(luò)流量和硬盤(pán)空間等項(xiàng)目。
通過(guò)上述工作,所構(gòu)建的新的DNS系統(tǒng),既節(jié)省了建設(shè)資金,又提高了性能,系統(tǒng)的可靠性也大幅提高。通過(guò)本次項(xiàng)目分析結(jié)果,對(duì)系統(tǒng)采用安全過(guò)濾的措施,可提升10%的系統(tǒng)能力,節(jié)約投資8萬(wàn)元;另外通過(guò)本次項(xiàng)目得出的結(jié)果,如果合理的根據(jù)用戶(hù)使用網(wǎng)絡(luò)的特性進(jìn)行區(qū)域規(guī)劃,至少又可節(jié)省投資20萬(wàn)元。關(guān)鍵詞:DNS,AN/CAST,數(shù)據(jù)挖掘,數(shù)據(jù)采集,OSPF,BIND,CNS,DOS,DDOS
,SERvICE.BASEDDATAMIN礬GoPT舢ZATIoNMETHoDFoR
DNSPERFoRM喳NCE
ABSTRACT
InteractDomainNameSystemisthemostbasicinfrastructureservingasthecemtralnervoussystem,itsqualityofserviceisanimportantparameterformeasuringservicesprovidedbyInternets酬ce璐.WiththedevelopmentofbroadbandInternetuse瑙,thedomainilamesystem,theoverallnetworkstructureisincreasinglybecomingthemostimportantparttoensurethefunctioningoftheoverallnetwork.ThefailureofthedomainrlRmesystemwillleadtotheparalysisofthewholenetworkresultingintheunavailabilityoftheintemetresources,SOthemajorcarriersispayingincreasedattentiontothesecurityofthedomainnamesystem.Atthesametimeasthescaleoftheu翻口expands.Theintemetcal'rielsarcconfrontedwiththeexpansionofthedomiannamesystem,includinghowtoexpand,whentoexpandandwhatisthebasisofexpansion.Alltheseconcernedrequirsattentionandsolution
Toachievetheobjectiveevidence-baseddomainnameservicesystemplanningandperformanceoptimization,Thestudyemploysthetechniqueofstatisticsn洫ingtomakeain-depthhandlingoftheexistingdomainservicesystemwithintheareaofatelecommunicationsoperator.ThroughtheDNSanalysisrequests,thesystemhaveperformedacompletecollection,statisticsandminninginacquiringthetotalamountofload,time-domainfeatures,analysisandbroadbanddial—upuserstargetthegeographicaldistributionoftheloadinordertoaccuratelyquantifytheDNSservernetworktramcandloadcapacity.Basedonthedataminingandquantitativeanalysis,theoptimizationforDNSareofferedconcerningthattheoriginalpublicdomainfortheservicesystemwasinuseofthetraditionalstand-alonesingle-addressstructure,whichleadstoproblemslikemultiplefaultsofhiddenspots,weakanti—attackcapability,lowserviceavailability,limitedserverload-controlmeans.
Theresearchfocusandthemaincontributionofthisstudyareasfollows:
1.InaccordancewiththeDNSrequirment,thesystemuseSNMPtools,andSYSLOGdomainnameservertraffic,respectively,tocollecttheoverallflowrateandlogandtomineservicedataMethodwasfirstproposedtoquantifythecalibrationofaDNSservicecarrierscarryingcapacityofthesystemtodeterminetheDNSsystem,theserviceloadmodel.
2.Toestablishtechnology-basedAnycastforDNSSclwicesystem,aindngforenhancingsystemreliabilityandscalabilitywhilemaintainingtheuniquenessoftheuser'sinerface.DNS
,ser以cesystemopftmizationprogramisgivenOnthebasisoftheoutcomeofdatamining,aUowingtheimprovementofthethroughputofasingleserver,singleresolutionSUCCESSrate,averagedelayandothertargets.
3.Tore-designtheDNSSCt'vic,esystemsecurityprotectionsystemtoensuresystemsecuritywhilecanceltheobstaclesintheoriginalsystemperformanceandreliability,meanwhilesystem-wideanti—DoSattackpatternswillshiftfromstand-alonedusterstothegroupdusters.
4.ToestablishandimprovetheDNSservicemom'toringsystem,SOthatthesystemwillnotonlyCOVel"sanoftheexistingnetworkmanagementsoftwareformonitoringprojects,andwillalsoCOVeI"theCPUload,memoryutilization,swaputilization,thenumberofsystemprocesses,on-linetime,networktra伍canddiskspaceandotherprojectsthattheoriginalsystemWaSnotabletoCOVeI'.
Throughtheaboveefforts,thenewDNSsystemconstmctgdwillnotonly姍capitalbutalsoimproveperfor-dmueeandreliabilityofthesystem.Theoutcomeoftheprojecthasdearlyshowsthepurposeoftheu母e培forusingtheintemetwithintheurbannetwrk,whichhasprovidedobjectiveevidenceforthebuildingofthecontentsandchoiceofthe球IrI嬲ininformationservice.BasedOntheresultsoftheresearch,Weproposesafefilteringforthesystemin紐efforttoupdate10%ofthesystem’seapabifityandtosaveinvestmentof∞,000.Inaddition,anotherconclusionhasbeendrawnfromtheprojectthatisanother20,000callbesavedifthelocalplanningisachievedaccordingtothepropertiesofusers’susingintemet.
KeyWords:dm,anyeast,Datamining,dataacquisition,ospf,bind,c璐,dos,&los
,目錄
摘要S第1章緒論.1l1.1域名系統(tǒng)的概念…………………………………………………….1l1.2針對(duì)域名服務(wù)器的數(shù)據(jù)挖掘……………………………………………。l41.3相關(guān)研究工作………………………………l61.4用戶(hù)背景及現(xiàn)狀分析……………….l71.5論文目標(biāo)及組織結(jié)構(gòu)………….l8第2章針對(duì)電信運(yùn)營(yíng)商的數(shù)據(jù)挖掘知識(shí)介紹2O2.1電信運(yùn)營(yíng)商數(shù)據(jù)挖掘現(xiàn)狀簡(jiǎn)介………………………….
2.2數(shù)據(jù)分析處理現(xiàn)狀…202.3數(shù)據(jù)挖掘方法及步驟…………。2l2.4統(tǒng)計(jì)學(xué)與數(shù)據(jù)挖掘…………………………~……………………222.5小結(jié)…………………………………………………………….
第3章域名系統(tǒng)的統(tǒng)計(jì)分析.~?!弧?。.。
3.1域名系統(tǒng)的性能指標(biāo)構(gòu)成……………………
3.2域名系統(tǒng)負(fù)載的總量分析………。
3.2.IDNS負(fù)載來(lái)源的用戶(hù)群分布…………………………………~…….……….263.2.2單臺(tái)服務(wù)器負(fù)載分析……………………。
3.3域名系統(tǒng)的時(shí)域分析………………………
3.3.1域名系統(tǒng)負(fù)載的時(shí)域特性………………………………….293.3.2各類(lèi)用戶(hù)DNS解析量的時(shí)域特性…………
3.3.3上網(wǎng)高峰期DNS負(fù)載來(lái)源……………………………………………….323.4解析對(duì)象的地域分析………………………………………………。……………………333.4.1寬帶撥號(hào)用戶(hù)負(fù)載的地域分布特性……………………………………………………333.4.2解析對(duì)象及解析類(lèi)型……………………………………….…….343.5域名系統(tǒng)網(wǎng)絡(luò)流量及承載能力分析………...
3.5.1DNS服務(wù)器網(wǎng)絡(luò)流量…………………………。
3.5.2DNS服務(wù)器CPU負(fù)載……………………..363.5.3
3.6
第4章
4.1
4.2
4.2.1
4.2.2系統(tǒng)結(jié)構(gòu)………………j………………一….…484.2.3服務(wù)收斂速度…………?!担?/p> ,
4.2.4服務(wù)器集群內(nèi)的解析負(fù)載均衡……………………………………………………5l4.3域名服務(wù)器的軟件評(píng)估……………………………………………534.3.1評(píng)估策略及評(píng)估環(huán)境………………………………。
4.3.2評(píng)估結(jié)果.
4.3.2.1功能對(duì)比……………………~………….
4.3.2.2基本性能參數(shù)………………
4.3.2.3ACL對(duì)性能的影響….
4.3.2.4壓力測(cè)試…………….
4.3.2.5在線(xiàn)測(cè)試……………
4.3.3評(píng)估結(jié)果總結(jié)…………………………………………………….
4.4域名服務(wù)器軟件性能優(yōu)化…。
4.4.1城域網(wǎng)DNS系統(tǒng)的用戶(hù)承載能力………。
4.5域名系統(tǒng)安全優(yōu)化設(shè)計(jì)……………….…………………。634.5.1系統(tǒng)監(jiān)測(cè)………………………………………………………?!?。634.5.2安全防護(hù)……………………………………………
第5章總結(jié)與展望….....一…——……—一。一一—一—一?!??!欢??!?。67
l;I|蜀乏....一...。。........。....一..……。。——……...……。?!?。。...............——.。。..。。..............7jI致謝78攻讀學(xué)位期間參加的科研項(xiàng)目和成果79
,浙江工業(yè)大學(xué)碩士學(xué)位論文
第1章緒論
1.1域名系統(tǒng)的概念
1.1.1域名系統(tǒng)
域名系統(tǒng)(DNS)的主要作用是將以字符形式可以簡(jiǎn)單易記的遠(yuǎn)程主機(jī)URL地址轉(zhuǎn)換為口地址。在未知遠(yuǎn)程主機(jī)地址的情況下,將域名轉(zhuǎn)換為口地址是互聯(lián)網(wǎng)主機(jī)間進(jìn)行通信時(shí)要經(jīng)歷的首要步驟。由此,域名解析服務(wù)成為互聯(lián)網(wǎng)應(yīng)用系統(tǒng)重要的支撐類(lèi)服務(wù),也是互聯(lián)網(wǎng)重要的基礎(chǔ)設(shè)施和中樞神經(jīng)。
域名系統(tǒng)采用樹(shù)形結(jié)構(gòu)組織信息,一個(gè)域名是一個(gè)從根到葉子節(jié)點(diǎn)的路徑,其構(gòu)成方式是自底向上,各層域名串聯(lián)組成,中間以?。桓糸_(kāi)。每一級(jí)域名服務(wù)器負(fù)責(zé)管理其子節(jié)點(diǎn)的域名相關(guān)信息。
域名系統(tǒng)解析有兩種工作方式:遞歸查詢(xún)解析和迭代查詢(xún)解析。
遞歸查詢(xún)解析(RecursiveQueryResolution),是指域名解析請(qǐng)求要求某個(gè)域名服務(wù)器完成全部轉(zhuǎn)換。遞歸解析請(qǐng)求的回答要么是要查看的P地址,要么是一個(gè)表示無(wú)此域名對(duì)應(yīng)的口地址的回答。
迭代查詢(xún)解析(IterativeQueryResolution),是指域名解析請(qǐng)求要求每一次聯(lián)系一個(gè)不同的域名服務(wù)器。在服務(wù)器層次間逐步尋找一個(gè)管轄該域名的服務(wù)器的過(guò)程,僅在服務(wù)器要解析域名時(shí)使用。
無(wú)論采用哪一種解析方式,客戶(hù)機(jī)軟件都將形成域名查詢(xún),然后將查詢(xún)請(qǐng)求發(fā)送給域名服務(wù)器。域名服務(wù)器完成域名解析后,將結(jié)果返回給客戶(hù)機(jī)。通??蛻?hù)機(jī)上的解析器軟件請(qǐng)求遞歸解析。將一個(gè)域名解析為一個(gè)對(duì)等的P地址。而當(dāng)一個(gè)服務(wù)器成為另一個(gè)域名服務(wù)器的客戶(hù)時(shí),它將請(qǐng)求迭代解析在服務(wù)器層次間每次一層地逐層查找。
當(dāng)域名服務(wù)器收到查詢(xún)請(qǐng)求時(shí),它首先檢查解析請(qǐng)求中的域名是否屬于它授權(quán)管理的范圍。如果在管理范圍之內(nèi),它就檢索本地?cái)?shù)據(jù)庫(kù)把域名轉(zhuǎn)換成m地址,并將解析的結(jié)果附加到查詢(xún)中,然后發(fā)送給客戶(hù)機(jī)。如果服務(wù)器發(fā)現(xiàn)到達(dá)查詢(xún)請(qǐng)求中的域名不在自己的11