如何通過網絡爬蟲獲取網站相關數據？1、在站內收集API入口；2、用搜索引擎搜索“某網站API”；3、抓包，有的網站只不過應用了ajax，但是抓包還是能夠資源XHR里的json數據的（和用抓包工具抓包，

如何通過網絡爬蟲獲取網站相關數據？

1、在站內收集API入口；

2、用搜索引擎搜索“某網站API”；

3、抓包，有的網站只不過應用了ajax，但是抓包還是能夠資源XHR里的json數據的（和用抓包工具抓包，也這個可以是從瀏覽器按F12抓包：F12-Network-F5可以刷新）。二、不開放API的網站1、如果沒有網站是靜態(tài)頁面，這樣這個可以用requests庫正在發(fā)送只是請求，再實際HTML電學計算庫（lxml、parsel等）來解三角形吶喊之聲的text；題庫強烈推薦一下parsel，不僅語法和css選擇類型器的的，但速度也挺快，Scrapy得用就是它。2、如果不是網站是動態(tài)頁面，可以不先用selenium來顏色渲染JS，再用HTML解析庫來推導driver的page_source。

我是小白，想學爬蟲、js，有什么好的建議嗎？

爬蟲和js(前端)大都互聯(lián)網當前都很火的兩個領域，筆者根據自己觀點并且分析下:

爬蟲:簡單點地說那是用代碼發(fā)送中跪請某些網頁信息讓他通過題聲望兌換自己想的數據，爬蟲剛入門很容易。但是想潛近是真的很難。當然了爬蟲的最拿手語言通常是python因為python把一些庫標準封裝的精致易用，這也得益于python的語言特性。但你千萬不能拿python跟爬蟲畫等號。反正爬蟲到后面跟更大相關的事js而并非其他編程語言。而且各大網站保護數據，有的限制修改ip，有的取消cookie，還有各種加密，驗證碼。在js客戶端不能執(zhí)行，一層有一層的混淆嵌套循環(huán)。。。你必須的是強大無比的js水平和代碼分析能力。你要按照巨大的生澀代碼去咬開它的真面目。并不一定時間是最難的事的。而弄明白規(guī)則用python或者java寫很難。

別外，如果有興趣這個可以把爬蟲當成副業(yè)，娛樂怎么學習。教程的話建議您不買書。因為網站更新太快書很難跟不上潮流?？梢圆毁I套教程入門學習后找csdn,博客園，頭條等跟著一些爬蟲博主學習。另外有問題也也可以私信給我問他們。

js:這兩年是真有火熱。以前的jquery悶不吭聲。知道vue,react,ag三個js框架流行的。只不過js不但是可以統(tǒng)治者pc，也也可以提及移動端。我看頭條app，淘寶，京東這些很小一部分都是htmljs的視圖。并且web前端工程師現在市場比較好非常稀缺，也很拉風，是對學習來說?，F在的js學習成本可能會比較好高。要node.js。npm這些都要學。但專業(yè)性也強了很多(主要后端不像以前會點jquery就能全棧了)。薪資也還這個可以。幫我推薦騰訊云技術社區(qū)。前端內容都很多。

另外，相對于怎么學習，頭條，csdn，博客園，公眾號，知乎等等全是確實不錯的社區(qū)。里面有大量你必須的知識。只不過是需要你自己挖掘你是需要的只不過！