寫爬蟲用什么語言好？爬蟲選擇什么工具？1. Crawler是一個網(wǎng)絡(luò)蜘蛛機器人，它能自動地抓取數(shù)據(jù)并根據(jù)我們的規(guī)則獲取數(shù)據(jù)2。為什么使用爬蟲？私人定制搜索引擎獲取更多數(shù)據(jù)的時代不再是互聯(lián)網(wǎng)時代，而是大

寫爬蟲用什么語言好？

爬蟲選擇什么工具？

1. Crawler是一個網(wǎng)絡(luò)蜘蛛機器人，它能自動地抓取數(shù)據(jù)并根據(jù)我們的規(guī)則獲取數(shù)據(jù)

2。為什么使用爬蟲？私人定制搜索引擎獲取更多數(shù)據(jù)的時代不再是互聯(lián)網(wǎng)時代，而是大數(shù)據(jù)時代

3。爬蟲的原理：控制節(jié)點（URL分配器）、爬蟲節(jié)點（根據(jù)算法抓取數(shù)據(jù)并存儲在數(shù)據(jù)庫中）、資源庫（存儲爬蟲數(shù)據(jù)庫提供搜索）。爬蟲的設(shè)計思想：爬蟲的網(wǎng)絡(luò)地址，通過HTTP協(xié)議得到相應(yīng)的HTML頁面

5。爬蟲語言選擇：

PHP:雖然被稱為“世界上最好的語言”，但作為爬蟲的缺點：沒有多線程的概念，對異步支持少，并發(fā)性不足，爬蟲要求效率高

C/C Java:python最大的競爭對手，非常龐大，而且爬蟲需要經(jīng)常修改代碼

Python：漂亮的語言，代碼介紹，多方功能模塊，調(diào)用替代語言接口，以及成熟的分布式策略

SCR Apy是一個通用的爬蟲框架，它的功能比較完善，可以幫助你快速編寫一個簡單的爬蟲，并運行。為了更方便地實現(xiàn)碎片的分布式抓取，scrapredis提供了一些基于redis的組件（注意scrapredis只是一些組件，不是一個完整的框架）。你可以把它想象成一個能生產(chǎn)你想要的蜘蛛的工廠。為了幫助工廠更好地實現(xiàn)一些功能，其他廠家制造了一些設(shè)備來代替工廠原有的設(shè)備。

因此，如果要運行分布式，應(yīng)首先設(shè)置場景工廠，然后使用場景redis設(shè)備替換一些場景設(shè)備。

那么這些scrapredis組件的突出特點是什么？他們使用redis數(shù)據(jù)庫來替換原始草圖中使用的deque。如果數(shù)據(jù)結(jié)構(gòu)改變了，相應(yīng)的操作當(dāng)然也會改變。因此，與隊列相關(guān)的這些組件已被替換。

scrapy-redis和scrapy有什么區(qū)別？

scrapy的請求存儲在內(nèi)存中，然后通過schedule進行調(diào)度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調(diào)度。利用redis數(shù)據(jù)庫重寫了在調(diào)度表中存儲和分發(fā)請求的方法。多個scrape通過遠(yuǎn)程鏈接到redis數(shù)據(jù)庫，同時參與調(diào)度。

另外，使用redis的set存儲結(jié)構(gòu)重寫重復(fù)數(shù)據(jù)消除方法。

碰巧我也在學(xué)習(xí)速寫redis，這是我現(xiàn)在的觀點