2003年4月24日--4月26日廣東78個(gè)網(wǎng)站分析閆宏飛1 修正任務(wù)文件給定任務(wù)文件“相關(guān)網(wǎng)站.doc ” 總共包括編號(hào)1-94個(gè)網(wǎng)站，存在如下毛?。河袃蓚€(gè)編號(hào)30的網(wǎng)站，修改為30.1, 30.2

2003年4月24日--4月26日廣東78個(gè)網(wǎng)站分析

閆宏飛

1 修正任務(wù)文件

給定任務(wù)文件“相關(guān)網(wǎng)站.doc ” 總共包括編號(hào)1-94個(gè)網(wǎng)站，存在如下毛?。?/p>

有兩個(gè)編號(hào)30的網(wǎng)站，修改為30.1, 30.2。

有兩個(gè)編號(hào)75的網(wǎng)站，修改為75.1, 75.2。

編號(hào)24與編號(hào)39的網(wǎng)站重復(fù)，去掉編號(hào)39。

編號(hào)42的網(wǎng)站實(shí)際包括編號(hào)44的網(wǎng)站，從域名中可以看出，去掉44。 編號(hào)52的網(wǎng)站實(shí)際包括編號(hào)93的網(wǎng)站，從域名中可以看出，去掉93。 編號(hào)25,68,69,78沒(méi)有給定網(wǎng)址。

得到實(shí)際任務(wù)數(shù)94 1 1-1-1-1-4=89個(gè)，為“修訂后的相關(guān)網(wǎng)站.doc ” 。 1) 2) 3) 4) 5) 6) 2 執(zhí)行抓取任務(wù)

按照“修訂后的相關(guān)網(wǎng)站.doc ”，依據(jù)給定的網(wǎng)址，2003年4月24至4月26日抓取文件（只要有URL 就抓取，不限于.html, .txt等格式文件）。成功抓取的網(wǎng)站按照規(guī)則存放：編號(hào)1到9的網(wǎng)站存在目錄0中；編號(hào)10到19的網(wǎng)站存在目錄1中；??；編號(hào)90到94的網(wǎng)站存在目錄9中。

其中有下述問(wèn)題的編號(hào)網(wǎng)站沒(méi)有放入相應(yīng)目錄中。完成89-11=78個(gè)網(wǎng)站的抓取。

有問(wèn)題網(wǎng)站：

1) 編號(hào)為3,40,86,88的網(wǎng)站是利用數(shù)據(jù)庫(kù)文件提供WWW 服務(wù)的，量大，兩天中沒(méi)有抓取完成。

2) 編號(hào)為7，26，53的網(wǎng)站域名解析不到，不能抓取URL 文件。

3) 編號(hào)為10,20,30.2,70的網(wǎng)站有問(wèn)題，導(dǎo)致抓取程序不能完成工作。

a) 其中 編號(hào)10, http://www.gz-gov.org/index.htm，其實(shí)際有效URL 為

b) 編號(hào)20，http://www.gdyc.gov.cn/ ，只能抓到首頁(yè)，盡管通過(guò)IE 可以繼續(xù)訪問(wèn)其他鏈接。

1

c) 編號(hào)30.2，http://www.chaozhou.gov.cn/framework/browse/0/ ，中的鏈接有問(wèn)題，誤導(dǎo)搜集程序。

d) 編號(hào)70，http://www.pingyuan.gov.cn/ ，只能抓到首頁(yè)，盡管通過(guò)IE 可以繼續(xù)訪問(wèn)其他鏈接。

3 結(jié)果分析

根據(jù)抓取的URL 文件和抓取過(guò)程紀(jì)錄的日志，分析得到：

1) 78個(gè)網(wǎng)站（不包括編號(hào)2,9,47網(wǎng)站的9個(gè)共1.2GB 的視頻文件。因?yàn)橛绊懡y(tǒng)計(jì)規(guī)律，因此單出）共196,778個(gè)文件，占用3.5GB 空間。平均每個(gè)網(wǎng)站有2,523個(gè)文件，占用44.8MB 空間。

2) 靜態(tài)網(wǎng)頁(yè)（消息體首部有Last-Modified ，最后修改時(shí)間）（靜態(tài)網(wǎng)頁(yè)：嚴(yán)格的說(shuō)，靜態(tài)網(wǎng)頁(yè)并不是絕對(duì)“靜止”的，它有可能包含了Flash 動(dòng)畫，也可以包含腳本語(yǔ)句，但是與動(dòng)態(tài)網(wǎng)頁(yè)相比，它的腳本語(yǔ)句都不是在服務(wù)器上運(yùn)行的。特征是網(wǎng)頁(yè)消息體都有Last-Modified ）的共 103,169個(gè)，動(dòng)態(tài)網(wǎng)頁(yè)（動(dòng)態(tài)網(wǎng)頁(yè)：并不是說(shuō)包含了各種動(dòng)畫效果的網(wǎng)頁(yè)就是動(dòng)態(tài)網(wǎng)頁(yè)，而是指那些包含了在服務(wù)器上運(yùn)行的腳本語(yǔ)句的網(wǎng)頁(yè)才能稱為。當(dāng)一個(gè)網(wǎng)頁(yè)中包含了在服務(wù)器上運(yùn)行的腳本語(yǔ)句之后，它就可以處理服務(wù)器上的各種資源（比如數(shù)據(jù)庫(kù)），換句話說(shuō)，它能夠“命令”服務(wù)器按它的要求對(duì)各種數(shù)據(jù)資源進(jìn)行處理。特征是網(wǎng)頁(yè)消息體都沒(méi)有Last-Modified ）共196,778 – 103,169 = 93,609個(gè)。 可以看出靜態(tài)網(wǎng)頁(yè)與動(dòng)態(tài)網(wǎng)頁(yè)的比例基本是1:1。

3) 文件類型：

a) 其中文本類型文件（文件包含可打印的字符和少量的控制字符，可以在ASCII 終端上閱讀）有145,284個(gè)；

b) 數(shù)據(jù)文件類型（通常是二進(jìn)制的或者是不可以打印輸出的文件，并且不是可執(zhí)行文件類型）有51,106個(gè)，并且都是靜態(tài)網(wǎng)頁(yè)，各種格式的文件分布如圖1所示。其中：

圖1. 數(shù)據(jù)文件中各種格式文件的分布

2

i) 圖像格式文件有49,919個(gè)： JPEG格式有29,559個(gè)，GIF 格式有20,066

個(gè)，其他格式（PNG,TIF ）圖像文件94個(gè)。 ii) Macromedia Flash格式有329個(gè)。

iii) 其他格式（PDF, DOC, ZIP, MIDI, Java Class, PC bitmap, MPEG）有352

個(gè)。

c) 可執(zhí)行文件類型（文件包含編譯程序的結(jié)果）有28個(gè)，并且都是靜態(tài)網(wǎng)頁(yè)；

d) 未知類型文件有196,778-145,284-51,106,28 = 360個(gè)。

4) WWW 服務(wù)器中可以直接閱覽的文件（文本類型文件）占145,284/196,778 = 73.8，其他格式文件占26.2。靜態(tài)網(wǎng)頁(yè)中可直接閱覽的文件占(103,169 – 51,105 – 28 ) /145,284 = 35.8，即靜態(tài)可直接閱覽的文件占所有文件的73.8 *35.8 = 26.4 .（利用這個(gè)統(tǒng)計(jì)規(guī)律，如果已知靜態(tài)可直接閱覽的網(wǎng)頁(yè)，可以推出WWW 上的總網(wǎng)頁(yè)數(shù)。）

5) 靜態(tài)網(wǎng)頁(yè)“最后修改時(shí)間”分布如表1所圖示。這是針對(duì)103,169個(gè)靜態(tài)網(wǎng)頁(yè)文件的統(tǒng)計(jì)。

表1 靜態(tài)網(wǎng)頁(yè)最后修改時(shí)間分布

圖2. 涉及“非典”事件網(wǎng)站的網(wǎng)頁(yè)數(shù)分布

3

6) 當(dāng)前兩個(gè)熱點(diǎn)事件分析，都是針對(duì)網(wǎng)站中包含的文本類型文件進(jìn)行的分析。 a) 涉及“非典”事件網(wǎng)頁(yè)的分析。包含“非典”字眼的網(wǎng)頁(yè)為1,376個(gè)，其中靜態(tài)網(wǎng)頁(yè)316個(gè)。占文本類型文件1,376/145,284= 0.9；共有44個(gè)網(wǎng)站涉及“非典”話題，占所有網(wǎng)站的44/78 = 56.4。涉及“非典”事件網(wǎng)站的網(wǎng)頁(yè)數(shù)分布如圖2所示。其中藍(lán)色表示該網(wǎng)站擁有的靜態(tài)網(wǎng)頁(yè)數(shù)，紫色表示該網(wǎng)站擁有的動(dòng)態(tài)網(wǎng)頁(yè)數(shù)，每一個(gè)柱條表示該網(wǎng)站的文本類型文件之和（由靜態(tài)和動(dòng)態(tài)網(wǎng)頁(yè)構(gòu)成）?？梢钥闯觯?/p>

i) 多數(shù)涉及“非典”事件的網(wǎng)站都是以動(dòng)態(tài)網(wǎng)頁(yè)形式體現(xiàn)，間或有少量的

靜態(tài)網(wǎng)頁(yè)體現(xiàn)。

ii) 有的網(wǎng)站完全采用動(dòng)態(tài)網(wǎng)頁(yè)體現(xiàn)；有的網(wǎng)站完全采用靜態(tài)網(wǎng)頁(yè)體現(xiàn)；有

的網(wǎng)站采用動(dòng)、靜態(tài)網(wǎng)頁(yè)混合來(lái)體現(xiàn)。

b) 涉及“伊拉克”事件網(wǎng)頁(yè)的分析。包含“伊拉克”字眼的網(wǎng)頁(yè)為2,994個(gè)，其中靜態(tài)網(wǎng)頁(yè)1305個(gè)。占文本類型文件2,994/145,284= 2.1；共有30個(gè)網(wǎng)站涉及“伊拉克”話題，占所有網(wǎng)站的30/78 = 38.5。涉及“伊拉克”事件網(wǎng)站的網(wǎng)頁(yè)數(shù)分布如圖3所示。顏色表示與圖2的一致，結(jié)論也與依據(jù)圖2得出的基本一致。

圖3. 涉及“伊拉克” 事件網(wǎng)站的網(wǎng)頁(yè)數(shù)分布

----------------------------------------

Note: 如果需要分析單個(gè)網(wǎng)站的數(shù)據(jù)可以同樣方法分析得到。

4