scrapy去重原理 scrapy-redis和scrapy有什么區(qū)別？
scrapy-redis和scrapy有什么區(qū)別？scrapy的請求存儲在內存中，然后通過schedule進行調度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調度。利用redis數(shù)據(jù)庫重寫
scrapy-redis和scrapy有什么區(qū)別？
scrapy的請求存儲在內存中，然后通過schedule進行調度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調度。利用redis數(shù)據(jù)庫重寫了在調度表中存儲和分發(fā)請求的方法。多個scrape通過遠程鏈接到redis數(shù)據(jù)庫，同時參與調度。
另外，使用redis的set存儲結構重寫重復數(shù)據(jù)消除方法。
碰巧我也在學習速寫redis，這是我現(xiàn)在的觀點