目前做的最好的爬蟲項(xiàng)目是哪個(gè)，開源github？Large:nutchapache/nutch·GitHub適用于搜索引擎，分布式爬蟲是其功能之一。海貍是一種相對(duì)成熟的爬行動(dòng)物。?。篶rawler 4

目前做的最好的爬蟲項(xiàng)目是哪個(gè)，開源github？

Large:nutchapache/nutch·GitHub適用于搜索引擎，分布式爬蟲是其功能之一。海貍是一種相對(duì)成熟的爬行動(dòng)物。小：crawler 4jyasserg/crawler 4J·GitHub web collector crawlescript/web collector·GitHub（中文作品）的目標(biāo)是讓你在5分鐘內(nèi)寫出一個(gè)crawler。參考crawler 4J，如果你經(jīng)常需要寫crawler，你需要寫很多crawler，這還是很好的，因?yàn)樗枰?分鐘以上才能開始。缺點(diǎn)是定制性不強(qiáng)。Webmagic code4craft/Webmagic·GitHub（中文作品，推薦）垂直，全棧，模塊化爬蟲。它更適合捕捉特定領(lǐng)域的信息。它包括下載、調(diào)度、持久化、頁面處理等模塊。您可以自己實(shí)現(xiàn)每個(gè)模塊，也可以選擇它已經(jīng)幫助您實(shí)現(xiàn)的解決方案。這是一個(gè)強(qiáng)大的定制。

怎樣把github的這個(gè)項(xiàng)目在本地運(yùn)行？

1. 或者先學(xué)習(xí)git、GitHub和$git clone 2，如果不想學(xué)習(xí)，只需單擊頁面右側(cè)的clone或download--download zip，例如下載到D:。解壓到D:Maple blog master，按住D:Maple blog master文件夾中的shift鍵[win7 system]，右擊輸入CMD，執(zhí)行命令：PIP install-R要求.txt不能這樣寫！除非你把這個(gè)名字改成請(qǐng)求.txt：pip安裝-r請(qǐng)求.txt