目前做的最好的爬蟲項目是哪個，開源github？Large:nutchapache/nutch·GitHub適用于搜索引擎，分布式爬蟲是其功能之一。海貍是一種相對成熟的爬行動物。小：crawler 4

目前做的最好的爬蟲項目是哪個，開源github？

Large:nutchapache/nutch·GitHub適用于搜索引擎，分布式爬蟲是其功能之一。海貍是一種相對成熟的爬行動物。小：crawler 4jyasserg/crawler 4J·GitHub web collector crawlescript/web collector·GitHub（中文作品）的目標(biāo)是讓你在5分鐘內(nèi)寫出一個crawler。參考crawler 4J，如果你經(jīng)常需要寫crawler，你需要寫很多crawler，這還是很好的，因為它需要5分鐘以上才能開始。缺點是定制性不強。Webmagic code4craft/Webmagic·GitHub（中文作品，推薦）垂直，全棧，模塊化爬蟲。它更適合捕捉特定領(lǐng)域的信息。它包括下載、調(diào)度、持久化、頁面處理等模塊。您可以自己實現(xiàn)每個模塊，也可以選擇它已經(jīng)幫助您實現(xiàn)的解決方案。這是一個強大的定制。

怎樣把github的這個項目在本地運行？

1. 或者先學(xué)習(xí)git、GitHub和$git clone 2，如果不想學(xué)習(xí)，只需單擊頁面右側(cè)的clone或download--download zip，例如下載到D:。解壓到D:Maple blog master，按住D:Maple blog master文件夾中的shift鍵[win7 system]，右擊輸入CMD，執(zhí)行命令：PIP install-R要求.txt不能這樣寫！除非你把這個名字改成請求.txt：pip安裝-r請求.txt