各位python達(dá)人，怎樣寫一個爬取網(wǎng)站目錄的？如果需要少量數(shù)據(jù)，可以使用python2附帶的urllib2爬蟲程序。如果你想要大量的數(shù)據(jù)，你需要一個特殊的爬蟲框架，scratch。作為一個爬蟲，你首

各位python達(dá)人，怎樣寫一個爬取網(wǎng)站目錄的？

如果需要少量數(shù)據(jù)，可以使用python2附帶的urllib2爬蟲程序。如果你想要大量的數(shù)據(jù)，你需要一個特殊的爬蟲框架，scratch。作為一個爬蟲，你首先需要分析你想要爬網(wǎng)的網(wǎng)頁的頁面結(jié)構(gòu)，也就是說，你需要知道你想要的元素在DOM樹中的位置，然后使用可以操作DOM的包，比如beautiful soup或者XPath，來解析DOM，得到你想要的值，用Python抓取web信息時，需要學(xué)習(xí)幾個模塊，如urlib、urllib2、urllib3、requests、httplib和re模塊（即正則表達(dá)式）。根據(jù)不同的場景，采用不同的模塊來高效、快速地解決問題。

）：

這抓取新浪主頁的源代碼。這是整個網(wǎng)頁的信息。如果你想提取有用的信息，你必須學(xué)會使用字符串方法或正則表達(dá)式。

平時多在網(wǎng)上閱讀文章和教程，很快就能學(xué)會。

。