請問一下你知道如何用爬蟲爬取到動(dòng)態(tài)的JS寫的網(wǎng)站信息嗎？當(dāng)我使用jsup編寫爬蟲程序時(shí)，我通常會遇到HTML不返回的內(nèi)容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代

請問一下你知道如何用爬蟲爬取到動(dòng)態(tài)的JS寫的網(wǎng)站信息嗎？

當(dāng)我使用jsup編寫爬蟲程序時(shí)，我通常會遇到HTML不返回的內(nèi)容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。1某些頁面元素被隱藏->替換選擇器解決方案2。一些數(shù)據(jù)保存在JS/JSON對象中->截取相應(yīng)的字符串，分析并求解3。通過API接口調(diào)用-> forge請求獲取數(shù)據(jù)。還有一個(gè)終極方法4。使用無頭瀏覽器，如phantomjs或casperjs

動(dòng)態(tài)加載的數(shù)據(jù)由用戶通過鼠標(biāo)或鍵盤執(zhí)行，在操作后加載。

所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類行為，滾動(dòng)頁面，單擊按鈕，提交表單等等。從而得到所需的數(shù)據(jù)。所以我認(rèn)為使用selenium方法抓取動(dòng)態(tài)頁面的中心思想是模擬人類行為。