如何通過網(wǎng)絡(luò)爬蟲獲取網(wǎng)站相關(guān)數(shù)據(jù)？1、在站內(nèi)收集API入口；2、用搜索引擎搜索“某網(wǎng)站API”；3、抓包，有的網(wǎng)站只不過應(yīng)用了ajax，但是抓包還是能夠資源XHR里的json數(shù)據(jù)的（和用抓包工具抓包，

如何通過網(wǎng)絡(luò)爬蟲獲取網(wǎng)站相關(guān)數(shù)據(jù)？

1、在站內(nèi)收集API入口；

2、用搜索引擎搜索“某網(wǎng)站API”；

3、抓包，有的網(wǎng)站只不過應(yīng)用了ajax，但是抓包還是能夠資源XHR里的json數(shù)據(jù)的（和用抓包工具抓包，也這個(gè)可以是從瀏覽器按F12抓包：F12-Network-F5可以刷新）。二、不開放API的網(wǎng)站1、如果沒有網(wǎng)站是靜態(tài)頁面，這樣這個(gè)可以用requests庫正在發(fā)送只是請求，再實(shí)際HTML電學(xué)計(jì)算庫（lxml、parsel等）來解三角形吶喊之聲的text；題庫強(qiáng)烈推薦一下parsel，不僅語法和css選擇類型器的的，但速度也挺快，Scrapy得用就是它。2、如果不是網(wǎng)站是動態(tài)頁面，可以不先用selenium來顏色渲染JS，再用HTML解析庫來推導(dǎo)driver的page_source。

我是小白，想學(xué)爬蟲、js，有什么好的建議嗎？

爬蟲和js(前端)大都互聯(lián)網(wǎng)當(dāng)前都很火的兩個(gè)領(lǐng)域，筆者根據(jù)自己觀點(diǎn)并且分析下:

爬蟲:簡單點(diǎn)地說那是用代碼發(fā)送中跪請某些網(wǎng)頁信息讓他通過題聲望兌換自己想的數(shù)據(jù)，爬蟲剛?cè)腴T很容易。但是想潛近是真的很難。當(dāng)然了爬蟲的最拿手語言通常是python因?yàn)閜ython把一些庫標(biāo)準(zhǔn)封裝的精致易用，這也得益于python的語言特性。但你千萬不能拿python跟爬蟲畫等號。反正爬蟲到后面跟更大相關(guān)的事js而并非其他編程語言。而且各大網(wǎng)站保護(hù)數(shù)據(jù)，有的限制修改ip，有的取消cookie，還有各種加密，驗(yàn)證碼。在js客戶端不能執(zhí)行，一層有一層的混淆嵌套循環(huán)。。。你必須的是強(qiáng)大無比的js水平和代碼分析能力。你要按照巨大的生澀代碼去咬開它的真面目。并不一定時(shí)間是最難的事的。而弄明白規(guī)則用python或者java寫很難。

別外，如果有興趣這個(gè)可以把爬蟲當(dāng)成副業(yè)，娛樂怎么學(xué)習(xí)。教程的話建議您不買書。因?yàn)榫W(wǎng)站更新太快書很難跟不上潮流。可以不買套教程入門學(xué)習(xí)后找csdn,博客園，頭條等跟著一些爬蟲博主學(xué)習(xí)。另外有問題也也可以私信給我問他們。

js:這兩年是真有火熱。以前的jquery悶不吭聲。知道vue,react,ag三個(gè)js框架流行的。只不過js不但是可以統(tǒng)治者pc，也也可以提及移動端。我看頭條app，淘寶，京東這些很小一部分都是htmljs的視圖。并且web前端工程師現(xiàn)在市場比較好非常稀缺，也很拉風(fēng)，是對學(xué)習(xí)來說。現(xiàn)在的js學(xué)習(xí)成本可能會比較好高。要node.js。npm這些都要學(xué)。但專業(yè)性也強(qiáng)了很多(主要后端不像以前會點(diǎn)jquery就能全棧了)。薪資也還這個(gè)可以。幫我推薦騰訊云技術(shù)社區(qū)。前端內(nèi)容都很多。

另外，相對于怎么學(xué)習(xí)，頭條，csdn，博客園，公眾號，知乎等等全是確實(shí)不錯(cuò)的社區(qū)。里面有大量你必須的知識。只不過是需要你自己挖掘你是需要的只不過！