如何寫爬蟲程序爬取豆瓣網(wǎng)或者新浪微博里的內(nèi)容？主要使用python，一般靜態(tài)網(wǎng)頁直接使用素描框架。如果需要對(duì)動(dòng)態(tài)網(wǎng)站進(jìn)行爬網(wǎng)，則需要使用selenium呈現(xiàn)JS以獲取動(dòng)態(tài)加載的數(shù)據(jù)?，F(xiàn)在我要抓取數(shù)據(jù)。

如何寫爬蟲程序爬取豆瓣網(wǎng)或者新浪微博里的內(nèi)容？

主要使用python，一般靜態(tài)網(wǎng)頁直接使用素描框架。如果需要對(duì)動(dòng)態(tài)網(wǎng)站進(jìn)行爬網(wǎng)，則需要使用selenium呈現(xiàn)JS以獲取動(dòng)態(tài)加載的數(shù)據(jù)。

現(xiàn)在我要抓取數(shù)據(jù)?；旧?，我只使用Pypeter。硒有嚴(yán)重的缺點(diǎn)。它會(huì)留下很多webriver標(biāo)簽，這些標(biāo)簽會(huì)被一些網(wǎng)站反爬網(wǎng)。雖然有些標(biāo)簽可以通過各種方式避免，但對(duì)于新手來說非常麻煩?，F(xiàn)在，Pypeter很容易使用。只要看一下它的API文檔，你就會(huì)發(fā)現(xiàn)你可以從一些基本的前端知識(shí)開始，而且效率遠(yuǎn)遠(yuǎn)高于selenium?；旧希粋€(gè)動(dòng)態(tài)網(wǎng)頁。如果你想攀爬，你只需要獲取物體，然后獲取一些屬性。您可以通過常規(guī)或字符串處理獲得所需的數(shù)據(jù)。

現(xiàn)在它基本上是一個(gè)動(dòng)態(tài)網(wǎng)頁，因此不考慮草圖框架。

最后，在再次攀爬之前，您應(yīng)該注意網(wǎng)站的設(shè)計(jì)機(jī)器人.txt文件哦，這會(huì)告訴你什么可以讓你抓取，避免面向監(jiān)獄的編程哦。