python是爬蟲嗎？Python不是爬蟲。Python只是因為三個較常見的中級程序語言，你也可以在用它來開發(fā)你是想的程序。在網(wǎng)上很多人說是可以用python來開發(fā)爬蟲，只不過這不是python的主要

python是爬蟲嗎？

Python不是爬蟲。Python只是因為三個較常見的中級程序語言，你也可以在用它來開發(fā)你是想的程序。在網(wǎng)上很多人說是可以用python來開發(fā)爬蟲，只不過這不是python的主要功能。

你這個可以用python來旗下圖形界面，也可以沒有圖形界面的軟件，它既也可以在linux上面啟動，也是可以在WINDOWS上面正常運行。

Python網(wǎng)絡(luò)爬蟲會遇到哪些問題？

第一個問題：JS加密如何突破

(1)非常熟練手中掌握Chrome的開發(fā)者工具的各個功能，Elements，Network，Source

(2)認真觀察，喜歡思考。Network打開系統(tǒng)程序加載流程，找可疑人的xhr各位，設(shè)置里xhr斷點，追朔js負責(zé)執(zhí)行過程，邊溯回邊一欄上下文代碼。能能讀懂js，明白js的相關(guān)知識，比如js里面的window變量。

(3)以上是按照debugjs不能找到j(luò)s加密加密文件的代碼，后再實際Python恢復(fù)實現(xiàn)程序，這個過程很長，可能會承受你幾天的時間，一旦網(wǎng)站變化看看js算法你的Python基于就肯定不能我用。

(4)用Selenium可簡單的晉階，而且網(wǎng)站只要該都無所謂。唯一遺憾的是，Selenium的運行效率極差。但，以及一個能用js加密來保護數(shù)據(jù)的網(wǎng)站，單價的運行效率估計足以滿足的條件網(wǎng)站的訪問頻率限制。這時候，更多的思考是怎么減少資源（IP、賬號）來增強破霸體效率。

第二個問題、多線程、協(xié)程，多進程的選擇

（1）爬蟲是IO密集型任務(wù)，大部分時間花在網(wǎng)絡(luò)訪問網(wǎng)絡(luò)上，所以才多進程不比較適合網(wǎng)絡(luò)爬蟲，而多線程、異步協(xié)程更適合我，而異步IO是都行吧的，它相比多線程，協(xié)程間的直接切換代價更小，我們提倡科學(xué)不使用同步異步IO而非多線程。異步運行IO的模塊要注意是：aysncio,aiohttp,aiomysql等。

（2）網(wǎng)頁爬過去后內(nèi)中提純是想的數(shù)據(jù)是CPU密集型的，這時候是可以用多進程并發(fā)分離提取。

（3）我們推薦推薦的爬蟲策略是，爬蟲自有打算爬，把爬下去的html存放過來，存到數(shù)據(jù)庫。后再單獨寫其他提取數(shù)據(jù)的提取器，分開來運行程序其他提取器。好處是，提取不會影響爬取，爬的效率更高，但是再提取程序可以時刻修改，有新的提取需求時不要恢復(fù)直接抓取。.例如，曾經(jīng)在寫爬蟲時只想提純網(wǎng)頁中的兩項數(shù)據(jù)，運行一段時間后，才發(fā)現(xiàn)另外3項數(shù)據(jù)也很沒有用，如果沒有能保存了html，再改過來再提取器恢復(fù)跑一遍就那樣最好。

第三個問題、假如打算剩余加粗或者圖片各種位置，沒有辦法實際開掘規(guī)律再寫正則表達式來針對性全面處理嗎？

網(wǎng)頁數(shù)據(jù)再提取主要注意兩種方法：正則表達式，xpath。是從xpath也可以獲得某個html標簽節(jié)點。諸如，一篇blog網(wǎng)頁，它的主體內(nèi)容都在某個標簽里面，很可能是某個div。用xpath能得到這個div，裝換為html，應(yīng)該是乾坤二卦了格式非盈利組織會計圖片的部分，你能保存這段html代碼而非純文本就行了。

第四個問題、爬蟲的增量爬取、斷點續(xù)爬、去重等

（1）實際網(wǎng)址池的概念去管理的管理所有的URL

（2）增量爬取那就是不重復(fù)一遍直接下載巳經(jīng)可以下載過的，讓網(wǎng)址池你只要記住那些巳經(jīng)去下載過的URL；

（3）斷點續(xù)爬，就是前段時間還沒有爬取的URL這次隨后爬，肯定讓網(wǎng)址池記住了那些才剛被爬取的URL

（4）爬蟲的去重，讓網(wǎng)址池記錄URL的狀態(tài)以避免重復(fù)爬取。

第五個問題、爬蟲的部署問題，在公司會不會分布式爬蟲系統(tǒng)都很多會涉及防御部署問題

爬蟲的部署，不一定會是分布式的。小規(guī)模的爬蟲，晉階了目標網(wǎng)站限制的爬蟲就會牽涉到分布式，分布式的好處是抓取速度想提高，但管理會比較古怪。

第六個問題、網(wǎng)頁的手動解析？這個話題就真包含很多子任務(wù)了：怎摸自動啟動吸納文章的內(nèi)容，該如何處理各種各樣的時間格式，怎么樣才能處理翻頁

（1）文章內(nèi)容的提取，基本是的是每種網(wǎng)頁建立一個再提取模板（正則表達式），好處是分離提取精準，壞處是工作量大，若是有一點再改版就失敗的話。按照算法建立單一再提取程序，大部分都可以提純，不過很可能會有寫雜質(zhì)，諸如文末的查找閱讀。好處是，畢其功于一役，不受再改版限制。

（2）時間的提取，除了正則表達式之外隱隱沒有而且快速有效的方法。

（3）翻頁的話，如果只是因為抓取，把該頁的url提純出來再繼續(xù)抓；該如何在提純內(nèi)容時要把多頁內(nèi)容合并成一個網(wǎng)頁，那現(xiàn)在就要尤其一次性處理。

第七個問題、爬新聞類的網(wǎng)站時，如何能做好同一新聞，各網(wǎng)站彼此轉(zhuǎn)載發(fā)布，爬取時文本去重

比較著名的算法是，Google的simhash，但具體實踐中比較比較古怪。網(wǎng)傳百度的做法是把文章的最長一句話（或多句）做hash，這個hash值就是文章的唯一性代表（指紋），這個方法準確率很高，但召回率都很低，若是這最長的幾句話改一個字就又不能遣離；我加以改進了該方法，對n句最長的話分別做hash，一個文章由n個指紋（如圖人的是個指頭指紋都不一樣）確定唯一性。準確率和召回率都還不錯。

第八個問題、異步運行爬蟲的設(shè)計

（1）三個好的URL管理策略，見猿人學(xué)上的網(wǎng)址池歷史文章；

網(wǎng)址池是一個“生產(chǎn)者-消費者”模型，爬蟲內(nèi)中接過url去可以下載，可以下載的html中再提取新的url放入池中，告知url池剛才一掏出的url是否需要下載成功了；再從池中拿出url進行下載。。。url池是核心部件，它資料記錄url的完全不同狀態(tài)：

（a）去下載完成

（b）直接下載失敗的可能n次

（c）也在去下載

你每次往池子直接添加url時都要檢查url在池中的狀態(tài)，避免重復(fù)上網(wǎng)下載。