如何把scrapy嵌入web后臺？可以不使用scrapyd，把scrapy發(fā)布到scrapyd服務中，正在發(fā)送http動態(tài)鏈接庫就可以不啟動時，停止，欄里點狀態(tài)。如何學習scrapy？該如何一步又一步

如何把scrapy嵌入web后臺？

可以不使用scrapyd，把scrapy發(fā)布到scrapyd服務中，正在發(fā)送http動態(tài)鏈接庫就可以不啟動時，停止，欄里點狀態(tài)。

如何學習scrapy？

該如何一步又一步的精通于scrapy

學爬蟲沒別的辦法，實踐，網(wǎng)上的教程一大堆，學會了以后這樣兩個也就入了門了，以后多練就可以了。從最簡單的爬蟲結束，怎末try，怎摸post，怎末加header，怎末傳form，怎莫傳body體，回的結果用正則咋如何處理，用xpath怎么去處理，這些都會了，那做啥也不怵了，至少研究的時候有方向了。

護兵知識

您估計對計算機編程術語和Python有基本都的了解。XPath的基本是理解是一個優(yōu)點。

Scrapy環(huán)境（教程）

Scrapy命令行工具

Scrapy蜘蛛

Scrapy你選器

Scrapy項目

ScrapyItemLoaders

Scrapyshell

ScrapyItemPipeline

ScrapyFeedexports

Scrapy各位和響應

Scrapy鏈接分離提取器

Scrapy設置

Scrapy異樣

Scrapy修改一個項目

Scrapy定義一個項目

Scrapy第一蜘蛛

Scrapy爬取

Scrapy其他提取項目

Scrapy使用Item

Scrapy跟蹤鏈接

Scrapy存放數(shù)據(jù)

Scrapy記錄

Scrapy統(tǒng)計收集

Scrapy發(fā)送電子郵件

ScrapyTelnet控制臺

ScrapyWeb服務

用Python寫爬蟲，用什么方式、框架比較好？

scrapy

比較適合規(guī)模很大、多站點爬取，允許異步運行，是從配置資源池，這個可以非常飛快的爬取大量數(shù)據(jù)。同樣學成本要比也高，文檔很體系，上手容易不是很難，只不過規(guī)模大項目里的各種規(guī)則、正則表達式啥的，就必須五十點自學了。

requeststm

比較適合個人娛樂，是對每種站點，量也不是太大，同時對效率要求不高的一百頭項目。如果有些it背景，requests庫基本是照著做，bs庫主要注意是記得一點那些規(guī)則即可，兩個庫的文檔都很完備，中文翻譯也有。具體一點的可以咨詢優(yōu)就業(yè)。