java如何抓取網(wǎng)頁上的動態(tài)信息，獲取源代碼后如何分析JS？當(dāng)我使用jsup編寫爬蟲程序時，我通常會遇到HTML不返回的內(nèi)容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面J

java如何抓取網(wǎng)頁上的動態(tài)信息，獲取源代碼后如何分析JS？

當(dāng)我使用jsup編寫爬蟲程序時，我通常會遇到HTML不返回的內(nèi)容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。1某些頁面元素被隱藏->替換選擇器解決方案2。一些數(shù)據(jù)保存在JS/JSON對象中->截取相應(yīng)的字符串，分析并求解3。通過API接口調(diào)用-> forge請求獲取數(shù)據(jù)。還有一個終極方法4。使用phantomjs或casperjs無頭瀏覽器

Python

強(qiáng)大的網(wǎng)絡(luò)功能，模擬登錄和解析JavaScript，缺點(diǎn)是用Python解析網(wǎng)頁非常方便。著名的Python爬蟲有很多解析器，比如scratch、Java和Java。它對網(wǎng)頁有很好的解析支持。缺點(diǎn)是網(wǎng)絡(luò)中有很多Java開源爬蟲。著名的解析器，如nutch，在中國有webmagicjava，優(yōu)秀的解析器，如Htmlparser和jsoop，無論是Java還是python，都能滿足一般的需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復(fù)雜的網(wǎng)頁，解析網(wǎng)頁內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細(xì)解析網(wǎng)頁內(nèi)容，可以選擇Java。