python爬蟲(chóng)怎么寫(xiě)循環(huán)爬取多個(gè)頁(yè)面？動(dòng)態(tài)加載的數(shù)據(jù)是在用戶通過(guò)鼠標(biāo)或鍵盤(pán)執(zhí)行某些操作后加載的。所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類(lèi)行為，滾動(dòng)頁(yè)面，

python爬蟲(chóng)怎么寫(xiě)循環(huán)爬取多個(gè)頁(yè)面？

動(dòng)態(tài)加載的數(shù)據(jù)是在用戶通過(guò)鼠標(biāo)或鍵盤(pán)執(zhí)行某些操作后加載的。

所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類(lèi)行為，滾動(dòng)頁(yè)面，單擊按鈕，提交表單等等。從而得到所需的數(shù)據(jù)。所以我認(rèn)為使用selenium方法抓取動(dòng)態(tài)頁(yè)面的中心思想是模擬人類(lèi)行為。

python爬蟲(chóng)問(wèn)題，如何爬取多個(gè)頁(yè)面？

在這里我想到兩種：

1。要爬網(wǎng)的鏈接是規(guī)則的，例如按順序增長(zhǎng)的頁(yè)碼。你可以在for和1

2鏈接不規(guī)則的循環(huán)中讀取頁(yè)面，你可以抓取一個(gè)初始頁(yè)面的鏈接，然后分析頁(yè)面中所有符合條件的URL地址，并將地址保存在鏈表中。另一個(gè)程序不斷地從鏈表中讀取數(shù)據(jù)，分析頁(yè)面，抓取新頁(yè)面中的鏈接，并將其存儲(chǔ)在鏈表中，從而不斷地生成新的鏈接，可以不斷地抓取