學(xué)習(xí)python爬蟲要著重學(xué)習(xí)MySQL嗎？我不認(rèn)為學(xué)習(xí)Python crawler和學(xué)習(xí)mysql之間有什么關(guān)系。當(dāng)我們學(xué)習(xí)crawler時(shí)，我們不能理解mysql，或者我們不能理解python對(duì)m

學(xué)習(xí)python爬蟲要著重學(xué)習(xí)MySQL嗎？

我不認(rèn)為學(xué)習(xí)Python crawler和學(xué)習(xí)mysql之間有什么關(guān)系。當(dāng)我們學(xué)習(xí)crawler時(shí)，我們不能理解mysql，或者我們不能理解python對(duì)mysql的操作。讓我們看看Python crawler的整個(gè)過(guò)程。

從上面的流程來(lái)看，在數(shù)據(jù)存儲(chǔ)方面，我們會(huì)存儲(chǔ)數(shù)據(jù)，也就是說(shuō)在數(shù)據(jù)存儲(chǔ)方面，我們會(huì)涉及到mysql、文件等類型的操作。所以，即使我們不了解mysql，我們也可以讓爬蟲程序下一步運(yùn)行。然后對(duì)網(wǎng)絡(luò)上的數(shù)據(jù)進(jìn)行爬網(wǎng)。

java和python在爬蟲方面的優(yōu)勢(shì)和劣勢(shì)是什么？

Python

強(qiáng)大的網(wǎng)絡(luò)功能，模擬登陸，解析JavaScript，缺點(diǎn)是網(wǎng)頁(yè)解析Python編寫程序非常方便，著名的Python爬蟲有scratch等

Java

Java有很多解析器，對(duì)網(wǎng)頁(yè)的解析支持非常好，缺點(diǎn)是網(wǎng)絡(luò)上有很多Java開源爬蟲，比如nutch，中國(guó)有優(yōu)秀的webmagicjava解析器，比如Htmlparser和jsoup，可以滿足Java和python的通用需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復(fù)雜的網(wǎng)頁(yè)，解析網(wǎng)頁(yè)內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細(xì)解析網(wǎng)頁(yè)內(nèi)容，可以選擇Java。