有js為什么還要php 爬蟲怎么爬取js動態(tài)生成的數據？
爬蟲怎么爬取js動態(tài)生成的數據？當我使用jsup編寫爬蟲程序時，我通常會遇到HTML不返回的內容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。1. 某些
爬蟲怎么爬取js動態(tài)生成的數據？
當我使用jsup編寫爬蟲程序時，我通常會遇到HTML不返回的內容。但是瀏覽器顯示了一些東西。所有這些都是分析頁的HTTP請求日志。分析頁面JS代碼來解決問題。
1. 某些頁面元素被隱藏->替換選擇器解決方案
2。一些數據保存在JS/JSON對象中->截取相應的字符串，分析并求解
3。通過API接口調用-> forge請求獲取數據
有一個終極方法
4。使用無頭瀏覽器，如phantomjs或casperjs