網(wǎng)站大致主要有以下兩個結(jié)構(gòu)種別。 一、物理結(jié)構(gòu) 物理結(jié)構(gòu)就是網(wǎng)站的目錄形式，一般有兩種形式，扁平和從屬，扁平結(jié)構(gòu)就是所有的頁面都在網(wǎng)站的根目錄，從屬形式就是每個內(nèi)容頁面從屬于上級目錄，層次比較清楚。在

網(wǎng)站大致主要有以下兩個結(jié)構(gòu)種別。 一、物理結(jié)構(gòu) 物理結(jié)構(gòu)就是網(wǎng)站的目錄形式，一般有兩種形式，扁平和從屬，扁平結(jié)構(gòu)就是所有的頁面都在網(wǎng)站的根目錄，從屬形式就是每個內(nèi)容頁面從屬于上級目錄，層次比較清楚。在物理結(jié)構(gòu)上，良多人曲解了一句話：目錄越少，蜘蛛越好抓取。這句話的意思是網(wǎng)站內(nèi)部的頁面臨比而言，目錄越少，蜘蛛會優(yōu)先抓取.針對統(tǒng)一個網(wǎng)站而言，蜘蛛會按照從上到下的順序來抓取，由于搜索引擎的資源是有限的，因此蜘蛛在抓取網(wǎng)頁的時候肯定會有一個先后順序，優(yōu)先抓取一些目錄較少的頁面，而目錄較深，url參數(shù)比較多的會放在最后抓取，由于搜索引擎的資源有限，我們假設(shè)一個蜘蛛來一次可以抓取100個頁面, ,那么排在后面的一些目錄較深的可能抓取不了，這就要求我們要公道鋪排網(wǎng)站物理結(jié)構(gòu)，根據(jù)頁面的重要程度來鋪排結(jié)構(gòu)，而把所有頁面都放在根目錄下，看似減少了目錄層次，實在就網(wǎng)站內(nèi)部而言，所有的頁面就都沒區(qū)別了，由于所有的頁面都在統(tǒng)一個目錄下，對蜘蛛而言，已經(jīng)沒有了任何區(qū)別，一些小網(wǎng)站可以這樣鋪排，但是對于中大型網(wǎng)站這樣做顯然是不公道的，那么多頁面都放在根目錄，治理上太麻煩了，而且也沒必要這樣做。 二、URL層次結(jié)構(gòu) 其什物理結(jié)構(gòu)目前對于抓取意義已經(jīng)不大，URL層次結(jié)構(gòu)就顯得比較重要了，大家都知道一個網(wǎng)站的頁面最多從首頁點擊四次要能看到，多了蜘蛛就很難抓取了，一般的中小網(wǎng)站都沒必要考慮這一點，由于中小網(wǎng)站一般的頁面你不管怎么做，點擊四次也足夠了。而對于中大型網(wǎng)站來說，因為欄目太多，而且欄目下還有子欄目，下面可能還有子欄目，每個欄目的頁面可能也非常多，這個時候就需要把內(nèi)鏈做好，內(nèi)鏈主要說下內(nèi)容頁的鏈接分布， 1、鏈接到首頁和頂級欄目的導(dǎo)航 2、鏈接到上級欄目 3、面包屑導(dǎo)航 3、鏈接到相關(guān)內(nèi)容 4、隨機鏈接當(dāng)前欄目的其他內(nèi)容 對于中型網(wǎng)站來說，內(nèi)容頁做到這幾點，一般蜘蛛的抓取都不成題目了。