python爬蟲怎么寫循環(huán)爬取多個頁面？動態(tài)加載的數(shù)據(jù)是在用戶通過鼠標或鍵盤執(zhí)行某些操作后加載的。所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類行為，滾動頁面，

python爬蟲怎么寫循環(huán)爬取多個頁面？

動態(tài)加載的數(shù)據(jù)是在用戶通過鼠標或鍵盤執(zhí)行某些操作后加載的。

所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類行為，滾動頁面，單擊按鈕，提交表單等等。從而得到所需的數(shù)據(jù)。所以我認為使用selenium方法抓取動態(tài)頁面的中心思想是模擬人類行為。

如何用python爬取js動態(tài)生成內(nèi)容的頁面？

Python 2.6 selenium-2.53.6 firebox 45.0 beautiful sound 3.2.1或Python 2.6 selenium-2.53.6 phantomjs 2.1.1