網友解答: python不是開發(fā)爬蟲的，爬蟲是其它的一個功能python可以實現(xiàn)很多功能：web開發(fā)、人工智能、數(shù)據(jù)挖掘、網絡爬蟲、數(shù)據(jù)科學、自動化運維等，網絡爬蟲只是其中的一個可實現(xiàn)的

python不是開發(fā)爬蟲的，爬蟲是其它的一個功能

python可以實現(xiàn)很多功能：web開發(fā)、人工智能、數(shù)據(jù)挖掘、網絡爬蟲、數(shù)據(jù)科學、自動化運維等，網絡爬蟲只是其中的一個可實現(xiàn)的功能。所以，嚴格來說python不是開發(fā)爬蟲，如果那樣的話會被認為Python只能用于爬蟲。限制了對他的全面性的理解。

說到網絡爬蟲，自然會讓人想到scrapy，因其跨平臺性。網絡爬蟲是指在互聯(lián)網上自動爬取內容信息的程序，也稱網絡蜘蛛。

scrapy使用python開發(fā)編寫的開源網絡爬蟲框架。scrapy簡單易用、靈活易拓展、開發(fā)社區(qū)活躍。

如下圖展示scrapy框架的組成結構，從數(shù)據(jù)流的角度提示scrapy的工作原理。

引擎、框架的核心，其他所有組件在其控制下協(xié)同工作；

高度器，負面對spider提交的下載任務進行高度；

下載器，負責下載頁面；

爬蟲，負面提取頁面中的數(shù)據(jù)，并產生下次請求；

中間件，負面對請求進行處理；

數(shù)據(jù)管道，負責對爬取到的數(shù)據(jù)進行處理。

python能開發(fā)的東西很多，不僅僅是爬蟲。