python爬蟲怎么寫循環(huán)爬取多個頁面？動態(tài)加載的數(shù)據(jù)是在用戶通過鼠標(biāo)或鍵盤執(zhí)行某些操作后加載的。所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類行為，滾動頁面，

python爬蟲怎么寫循環(huán)爬取多個頁面？

動態(tài)加載的數(shù)據(jù)是在用戶通過鼠標(biāo)或鍵盤執(zhí)行某些操作后加載的。

所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類行為，滾動頁面，單擊按鈕，提交表單等等。從而得到所需的數(shù)據(jù)。所以我認(rèn)為使用selenium方法抓取動態(tài)頁面的中心思想是模擬人類行為。

python爬蟲問題，如何爬取多個頁面？

在這里我想到兩種：

1。要爬網(wǎng)的鏈接是規(guī)則的，例如按順序增長的頁碼。你可以在for和1

2的循環(huán)中閱讀網(wǎng)頁鏈接是不規(guī)則的。您可以在初始頁面中獲取一個鏈接，然后分析該頁面中符合條件的所有URL地址，并將地址保存在鏈接列表中。另一個程序不斷地從鏈表中讀取數(shù)據(jù)，分析頁面，獲取新頁面中的鏈接，并將其存儲在鏈表中。這樣，新的鏈接就會不斷生成，你就可以不斷地抓取它們

首先，我們需要弄清楚，我們能看到的所有網(wǎng)頁，無論是文本、圖片還是動畫，都用HTML標(biāo)記。然后瀏覽器以視覺和美學(xué)的方式向我們顯示這些標(biāo)記。如果我們想做網(wǎng)絡(luò)爬蟲，那么我們的爬蟲沒有遠(yuǎn)見，只有邏輯。在爬蟲的眼里，只有HTML標(biāo)簽，其他樣式都在爬蟲，蠕蟲的眼睛里有浮云，所以爬蟲實際上讀取HTML標(biāo)簽（這里涉及的一個知識點就是獲取HTML標(biāo)簽）。庫是請求庫，它可以通過網(wǎng)絡(luò)請求（networkrequest）獲取HTML元素，然后從HTML標(biāo)記中提取所需內(nèi)容。這是一個網(wǎng)絡(luò)爬蟲。邏輯就這么簡單。如果您有使用python的經(jīng)驗，建議您使用crawler框架scratch