java爬取網(wǎng)頁數(shù)據(jù) 爬蟲怎么爬取js動(dòng)態(tài)生成的數(shù)據(jù)？
爬蟲怎么爬取js動(dòng)態(tài)生成的數(shù)據(jù)？當(dāng)我使用jsup編寫爬蟲程序時(shí)，我通常會(huì)遇到HTML不返回的內(nèi)容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。1. 某些
爬蟲怎么爬取js動(dòng)態(tài)生成的數(shù)據(jù)？
當(dāng)我使用jsup編寫爬蟲程序時(shí)，我通常會(huì)遇到HTML不返回的內(nèi)容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。
1. 某些頁面元素被隱藏->替換選擇器解決方案
2。一些數(shù)據(jù)保存在JS/JSON對象中->截取相應(yīng)的字符串，分析并求解
3。通過API接口調(diào)用-> forge請求獲取數(shù)據(jù)
有一個(gè)終極方法