java如何抓取網(wǎng)頁上的動態(tài)信息，獲取源代碼后如何分析JS？當我使用jsup編寫爬蟲程序時，我通常會遇到HTML不返回的內容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面J

java如何抓取網(wǎng)頁上的動態(tài)信息，獲取源代碼后如何分析JS？

當我使用jsup編寫爬蟲程序時，我通常會遇到HTML不返回的內容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。1某些頁面元素被隱藏->替換選擇器解決方案2。一些數(shù)據(jù)保存在JS/JSON對象中->截取相應的字符串，分析并求解3。通過API接口調用-> forge請求獲取數(shù)據(jù)。還有一個終極方法4。使用phantomjs或casperjs無頭瀏覽器

Python

強大的網(wǎng)絡功能，模擬登錄和解析JavaScript，缺點是用Python解析網(wǎng)頁非常方便。著名的Python爬蟲有很多解析器，比如scratch、Java和Java。它對網(wǎng)頁有很好的解析支持。缺點是網(wǎng)絡中有很多Java開源爬蟲。著名的解析器，如nutch，在中國有webmagicjava，優(yōu)秀的解析器，如Htmlparser和jsoop，無論是Java還是python，都能滿足一般的需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復雜的網(wǎng)頁，解析網(wǎng)頁內容生成結構化數(shù)據(jù)或精細解析網(wǎng)頁內容，可以選擇Java。