想要用python做爬蟲，是使用scrapy框架還是用requests、bs4等庫(kù)？我個(gè)人推薦scrapy。實(shí)施起來(lái)太方便了。我覺(jué)得這個(gè)框架太棒了，我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己

想要用python做爬蟲，是使用scrapy框架還是用requests、bs4等庫(kù)？

我個(gè)人推薦scrapy。實(shí)施起來(lái)太方便了。我覺(jué)得這個(gè)框架太棒了，我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己的使用過(guò)程。

最近，我看到我想爬詩(shī)歌。就在不久前，我學(xué)會(huì)了如何爬詩(shī)。我想我會(huì)把它和scratch結(jié)合起來(lái)做一個(gè)爬蟲。想一想就開始，目標(biāo)網(wǎng)站的首選是詩(shī)網(wǎng)。我更喜歡辛棄疾，所以我以辛棄疾的詩(shī)為對(duì)象。

當(dāng)然，我們還需要將爬網(wǎng)結(jié)果存儲(chǔ)在服務(wù)器中。在這里我選擇mongodb。這部分也很方便。只需編寫一個(gè)類將數(shù)據(jù)寫入mongodb。