有沒(méi)有前后端分離的python爬蟲系統(tǒng)推薦？反正Python做爬蟲的開源項(xiàng)目還挺多的，舉例幾個(gè)供你可以參考。Crawlab技術(shù)：GolangVue好像有點(diǎn)：不視野局限于scrapy，是可以運(yùn)行任何語(yǔ)言

有沒(méi)有前后端分離的python爬蟲系統(tǒng)推薦？

反正Python做爬蟲的開源項(xiàng)目還挺多的，舉例幾個(gè)供你可以參考。

Crawlab技術(shù)：GolangVue

好像有點(diǎn)：不視野局限于scrapy，是可以運(yùn)行任何語(yǔ)言和框架的爬蟲，非常精美的UI界面，全天然支持分布式爬蟲，意見節(jié)點(diǎn)管理、爬蟲管理、任務(wù)管理、定時(shí)任務(wù)、結(jié)果導(dǎo)出、數(shù)據(jù)統(tǒng)計(jì)、系統(tǒng)通知、可配置爬蟲、在線編輯代碼等功能

缺點(diǎn)：暫時(shí)沒(méi)有不支持什么爬蟲版本管理

評(píng)分：14.2K

Scrapydweb技術(shù)：PythonFlaskVue

優(yōu)點(diǎn)：制作精美的UI界面，內(nèi)置了requests庫(kù)日志推導(dǎo)器，有較容易任務(wù)運(yùn)行統(tǒng)計(jì)圖表，接受節(jié)點(diǎn)管理、定時(shí)任務(wù)、郵件提醒、移動(dòng)界面，算是scrapy-approach能完善的爬蟲管理平臺(tái)

缺點(diǎn)：不意見scrapy以外的爬蟲，Python Flask為后端，性能上有肯定會(huì)局限性

評(píng)分：1.2K

Gerapy技術(shù)：PythonDjangoVue

優(yōu)點(diǎn)：Gerapy是崔慶才大神開發(fā)的爬蟲管理平臺(tái)，安裝部署非常簡(jiǎn)單啊，同樣的設(shè)計(jì)和實(shí)現(xiàn)scrapyd，有精美的UI界面，支持什么節(jié)點(diǎn)管理、代碼可以編輯、可配置規(guī)則等功能

缺點(diǎn)：同時(shí)不支持scrapy以外的爬蟲，不過(guò)據(jù)使用者綜合反饋，1.0版本有很多bug，期待2.0版本會(huì)有肯定會(huì)程度的改進(jìn)

評(píng)分：1.9K

SpiderKeeper

技術(shù)：PythonFlask

優(yōu)點(diǎn)：基于scrapyd，開源版Scrapyhub，太簡(jiǎn)練的UI界面，支持什么定時(shí)任務(wù)

缺點(diǎn)：很可能有點(diǎn)過(guò)于簡(jiǎn)潔了，不意見分頁(yè)，不支持節(jié)點(diǎn)管理，不支持scrapy以外的爬蟲

評(píng)分：2.9K

Awesome-Spider這里面抽取了很多找人做的爬蟲。最后請(qǐng)良性的使用爬蟲技術(shù)，技術(shù)是無(wú)辜的人的，它沒(méi)有辨別能力的。仔細(xì)考慮不使用！

要是你覺得對(duì)你有幫助，或還有一個(gè)其它想清楚，歡迎在下面留言關(guān)注@杰森夢(mèng)想家。

為什么覺得Scrapy很難？

在學(xué)scrapy之前，要手中掌握很多基礎(chǔ)知識(shí)，要不學(xué)站了起來(lái)會(huì)比較比較沉重

簡(jiǎn)單的方法是前端的基礎(chǔ)知識(shí)，html、css、js的基礎(chǔ)知識(shí)要掌握到，scrapy是用來(lái)寫爬蟲的，爬的那就是這些網(wǎng)頁(yè)，要所了解這些前端知識(shí)才能知已知彼；

隨即是網(wǎng)頁(yè)分析方法，要學(xué)會(huì)什么用chrome等瀏覽器來(lái)分析頁(yè)面，這件事真的很重要，我們?cè)诮坛汤飦?lái)講會(huì)忽略這塊，可是對(duì)新手來(lái)說(shuō)，這塊內(nèi)容是要在學(xué)習(xí)過(guò)程中不斷研究的，想要快速掌握，是真的很難；

接下來(lái)的那就是python的基礎(chǔ)知識(shí)了，python的語(yǔ)法、request、beautifulsoup等具體類庫(kù)的使用；

到最后應(yīng)該是scrapy本身的去學(xué)習(xí)了，scrapy呢既然是一個(gè)框架，其本身又是一個(gè)比較好奇怪的機(jī)器，它涵蓋了網(wǎng)絡(luò)爬蟲從訪問(wèn)網(wǎng)頁(yè)、聲望兌換發(fā)令、分析響應(yīng)、數(shù)據(jù)處理、數(shù)據(jù)讀取一些列過(guò)程，我們用不著掌握其原理，會(huì)用即可。

說(shuō)這么大多，不過(guò)aiohttp是有難度，只不過(guò)接觸過(guò)去，做一些項(xiàng)目，就是沒(méi)有那你難的，不會(huì)相信你可以把英語(yǔ)學(xué)好用好這個(gè)框架，我們一起加油！