有什么好的python3爬蟲入門教程或書籍嗎？Scrapy tutorial()是一個(gè)用Python編寫的快速開源的網(wǎng)絡(luò)爬蟲框架，用于在基于XPath的選擇器的幫助下從網(wǎng)頁中提取數(shù)據(jù)。Scrapy于2

有什么好的python3爬蟲入門教程或書籍嗎？

Scrapy tutorial()是一個(gè)用Python編寫的快速開源的網(wǎng)絡(luò)爬蟲框架，用于在基于XPath的選擇器的幫助下從網(wǎng)頁中提取數(shù)據(jù)。

Scrapy于2008年6月26日在BSD下首次發(fā)布，milestone 1.0于2015年6月發(fā)布。

為什么是Scrapy？

更容易構(gòu)建和擴(kuò)展大型爬行項(xiàng)目。

它有一個(gè)稱為選擇器的內(nèi)置機(jī)制，可以從網(wǎng)站中提取數(shù)據(jù)。

它異步處理請(qǐng)求，速度非常快。

它采用自動(dòng)調(diào)節(jié)機(jī)制，自動(dòng)調(diào)節(jié)爬網(wǎng)速度。

確保開發(fā)者的可訪問性。

搔癢癥的特征

Scrapy是一個(gè)開源的免費(fèi)網(wǎng)絡(luò)爬蟲框架。

Scrapy生成JSON、CSV和XML格式的Feed輸出。

Scrapy內(nèi)置了通過XPath或CSS表達(dá)式從數(shù)據(jù)源中選擇和提取數(shù)據(jù)的支持。

基于爬蟲的Scrapy允許從網(wǎng)頁中自動(dòng)提取數(shù)據(jù)。

優(yōu)勢(shì)

Scrapy易于擴(kuò)展，速度快，功能強(qiáng)大。

它是一個(gè)跨平臺(tái)的應(yīng)用框架(Windows、Linux、Mac OS和BSD)。

Scrapy請(qǐng)求是異步調(diào)度和處理的。

Scrapy自帶一個(gè)名為Scrapyd的內(nèi)置服務(wù)，允許你上傳項(xiàng)目，使用JSON Web服務(wù)控制蜘蛛。

雖然網(wǎng)站沒有訪問原始數(shù)據(jù)的API，但是你可以取消任何網(wǎng)站。

劣勢(shì)

Scrapy僅在Python 2.7中可用。

不同的操作系統(tǒng)安裝不同。

有python感受嗎，請(qǐng)問像攜程網(wǎng)這種網(wǎng)站怎么爬?。?/h2>

清理了運(yùn)行Scrapy爬蟲的bug后，現(xiàn)在可以開始寫爬蟲邏輯了。在正式開始爬蟲編寫之前，這里有四個(gè)小技巧可以幫助我們操縱和調(diào)試爬蟲。

首先，直接在Pycharm下創(chuàng)建文件并調(diào)試。

很多時(shí)候，當(dāng)我們使用Scrapy crawler框架時(shí)，如果我們想運(yùn)行Scrapy crawler項(xiàng)目，我們通常會(huì)想到直接執(zhí)行命令 "scrapy爬行爬蟲名稱 "在命令行中，其中crawler_name是指爬蟲的名稱，是當(dāng)初創(chuàng)建Scrapy爬蟲模板時(shí)指定的，在爬蟲項(xiàng)目中是唯一的。但是每次跑到命令行執(zhí)行，看到交互的結(jié)果，有時(shí)候不是很清楚，所以這里有一個(gè)方法，可以幫助你提高開發(fā)效率，尤其是在調(diào)試的時(shí)候。

在與爬蟲項(xiàng)目文件相同的目錄下創(chuàng)建一個(gè)文件，用來控制整個(gè)爬蟲項(xiàng)目的執(zhí)行。

寫在這個(gè)文件夾中的代碼如下所示。scrapy中嵌入了execute函數(shù)，調(diào)用該函數(shù)可以直接調(diào)用Scrapy項(xiàng)目的抓取。蠕蟲腳本，該功能的執(zhí)行需要在爬蟲項(xiàng)目的父目錄下進(jìn)行。第七行代碼的意思是獲取當(dāng)前py文件的父目錄，這樣可以節(jié)省我們直接復(fù)制路徑的精力和時(shí)間，也方便我們把項(xiàng)目放到其他平臺(tái)上運(yùn)行而不會(huì)報(bào)錯(cuò)路徑。執(zhí)行函數(shù)中的參數(shù)實(shí)際上了Scrapy crawler 的執(zhí)行命令，并將它們以一個(gè)字符的形式放入一個(gè)數(shù)組中。

之后我們可以直接運(yùn)行這個(gè)文件，調(diào)用Scrapy爬蟲。

第二，用Debug來調(diào)試，提高開發(fā)速度。

相信用過Pycharm的朋友都看過Debug，意思是 "bug "用英語。Pycharm里的logo也是bug，像瓢蟲，但是很多朋友可能沒用過。下面給大家簡(jiǎn)單介紹一下。希望你以后能多使用，這對(duì)項(xiàng)目的調(diào)試很有幫助。

在調(diào)試之前，我們需要打斷我們要調(diào)試的代碼左側(cè)的點(diǎn)。斷點(diǎn)一般是紅色的，斷點(diǎn)的很簡(jiǎn)單，只需點(diǎn)擊代碼左側(cè)的左鍵即可，如下圖所示。

設(shè)置斷點(diǎn)后，可以轉(zhuǎn)到文件進(jìn)行調(diào)試。右鍵單擊文件并選擇 "調(diào)試和測(cè)試。;主 "，如下圖所示。

之后爬蟲會(huì)開始調(diào)試并返回一系列結(jié)果，如下圖所示，可以方便的拖拽查看。同時(shí)，爬蟲的結(jié)果會(huì)在爬蟲文件中以綠色字體顯示，非常美觀。

如果您想退出或停止調(diào)試，單擊Pycharm上面的選項(xiàng)卡上的Run，然后單擊Stop 主 ，如下圖所示。

之后爬蟲會(huì)退出調(diào)試，恢復(fù)正常的Pycharm界面，如下圖所示。

第三，將網(wǎng)站robots.txt規(guī)則設(shè)置為False。

一般來說，在我們使用Scrapy框架來捕獲數(shù)據(jù)之前，我們需要提前進(jìn)入文件并修改 "服從真實(shí) "to robots txt _ observe False。

未更改文件中的默認(rèn)爬蟲遵循網(wǎng)站的robots.txt規(guī)則，如下圖所示。

如果按照robots.txt的規(guī)則，抓取結(jié)果會(huì)自動(dòng)過濾掉很多我們想要的目標(biāo)信息，所以需要將這個(gè)參數(shù)設(shè)置為False，如下圖所示。

設(shè)置了robots.txt的規(guī)則后，我們就可以捕捉到更多的網(wǎng)頁信息了。

4.用Scrapy shell調(diào)試

通常，當(dāng)我們想運(yùn)行Scrapy爬蟲程序時(shí)，我們會(huì)輸入 "scrapy爬行爬蟲名稱 "在命令行中。細(xì)心的朋友應(yīng)該知道，上一篇文章創(chuàng)建的文件也可以提高調(diào)試效率，但是這兩種方法。所有方法都需要從頭到尾運(yùn)行Scrapy爬蟲項(xiàng)目，每次都需要請(qǐng)求一個(gè)URL，效率非常低。所有運(yùn)行過Scrapy爬蟲項(xiàng)目的朋友都知道Scrapy運(yùn)行相對(duì)較慢，有時(shí)根可以 因?yàn)榫W(wǎng)速不穩(wěn)定而無法移動(dòng)。針對(duì)每次運(yùn)行Scrapy爬蟲的問題，為大家介紹Scrapy shell的調(diào)試方法，可以事半功倍。

Scrapy為我們提供了一個(gè)shell模式，可以讓我們?cè)趕hell腳本下獲取整個(gè)URL的源代碼。在命令行上運(yùn)行它，它的語法命令是 "scrapy外殼URL "，而URL是指你需要抓取的網(wǎng)址或鏈接，如下圖所示。

這個(gè)命令意味著調(diào)試URL。命令執(zhí)行后，我們已經(jīng)獲取了URL對(duì)應(yīng)的網(wǎng)頁內(nèi)容，然后就可以在shell下調(diào)試了，所以我們不 不要每次啟動(dòng)URL請(qǐng)求都執(zhí)行無用的爬蟲。

通過shell腳本可以大大提高調(diào)試的效率，具體調(diào)試方法與爬蟲主文件中的表達(dá)式語法一致。舉個(gè)栗子，如下圖。

通過將兩個(gè)Xpath表達(dá)式對(duì)應(yīng)的選擇器放入scrapy shell調(diào)試的腳本中，可以清晰的看到提取的目標(biāo)信息，省去了每次運(yùn)行scrapy爬蟲的重復(fù)步驟，提高了開發(fā)效率。這種方法在Scrapy爬蟲的過程中很常見，也很實(shí)用。希望各位朋友都能掌握，并積極為自己所用。

讓 s先在這里分享一些Scrapy爬蟲項(xiàng)目的操作和調(diào)試技巧，尤其是調(diào)試和Scrapy shell調(diào)試。希望朋友們多多利用，讓他們?yōu)樽约旱捻?xiàng)目服務(wù)，可以事半功倍~

原始鏈接:

原始鏈接: