Python如何爬取網(wǎng)頁文本內(nèi)容？用python爬取網(wǎng)頁信息的話，不需要怎么學(xué)習(xí)幾個模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，又要怎么學(xué)習(xí)re模塊（

Python如何爬取網(wǎng)頁文本內(nèi)容？

用python爬取網(wǎng)頁信息的話，不需要怎么學(xué)習(xí)幾個模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，又要怎么學(xué)習(xí)re模塊（也就是正則表達式）。依據(jù)什么不同的場景使用差別的模塊來高效迅速的解決問題。

最正在我見意你還是從最簡單的urllib模塊學(xué)起，比如說爬新浪首頁（聲明：本代碼只做學(xué)術(shù)研究，絕無攻擊用意）：

這樣的就把新浪首頁的源代碼爬取到了，這是整個網(wǎng)頁信息，如果不是你要再提取你覺得沒有用的信息得要會建議使用字符串方法或是正則表達式了。

平時多看一下網(wǎng)上的文章和教程，迅速就能學(xué)會的。

補充有一點：以上可以使用的環(huán)境是python2，在python3中，已經(jīng)把urllib，urllib2，urllib3全部整合為一個包，而并沒有有這幾個單詞為名字的模塊。

學(xué)Python，我應(yīng)該走哪個方向？

1.WEB開發(fā)——最火的Pythonweb框架Django,支持什么異步模式高并發(fā)的Tornado框架，短小精悍的flask,bottle,Django官方的標語把Django符號表示為theframeworkwhileperfectionistwithdeadlines(大意是兩個為已經(jīng)主義者開發(fā)的高效率web框架)。

2.網(wǎng)絡(luò)編程——支持高并發(fā)的Twisted網(wǎng)絡(luò)框架，py3分解重組的asyncio使異步編程變的非常很簡單。

3.爬蟲——爬蟲領(lǐng)域，Python幾乎是霸主地位，ScrapyRequestBeautifuSoap%urllib等，想爬啥就爬啥。

4.云計算——目前最火最比較知名的云計算框架就是OpenStack,Python現(xiàn)在的火，不大一部分就是畢竟云計算。

5.人工智能——誰會藍月帝國AI

和大數(shù)據(jù)時代的第一開發(fā)語言？這本已是一個不要這場爭論的問題。如果沒有說三年前，Matlab、Scala、R、Java和Python還各有機會，局面縱然不很清楚，那么三年之后，趨勢早更加內(nèi)容明確了，特別是前兩天

Facebook閉源了PyTorch之后，Python以及AI時代頭牌語言的位置基本正式確立，未來的懸念僅是誰能抱上第二把交椅。

6.自動化運維——去問的每個運維人員，運維人員前提是會的語言是什么？10個人我相信會給你一個是一樣的的答案，它的名字叫Python。

7.金融分析——我個人前在金融行業(yè)，10年的時候，我們公司寫的好多分析程序、高頻交易者軟件是是用Python,到目前,Python是金融講、自動化交易領(lǐng)域里帶的至少的語言。

8.科學(xué)乘除運算——你很清楚么,97年正在，NASA就在源源不斷使用Python在進行各種復(fù)雜的科學(xué)除法運算，緊接著NumPy,SciPy,Matplotlib,Enthoughtlibrarys等眾多程序庫的開發(fā)，使的Python越發(fā)適合我于做科學(xué)計算、手工繪制高質(zhì)量的2D和3D圖像。和科學(xué)計算領(lǐng)域最不流行的商業(yè)軟件Matlab而言，Python是一門可以修的程序設(shè)計語言，比Matlab所需要的腳本語言的應(yīng)用范圍更應(yīng)用廣泛。

9.游戲開發(fā)——在網(wǎng)絡(luò)游戲開發(fā)中Python也有很多應(yīng)用。兩者相比Lua內(nèi)個C,Python比Lua有更八階的抽象能力，可以不用更少的代碼具體解釋游戲業(yè)務(wù)邏輯，與Lua比起，Python更合適才是一種Host語言，即程序的入口點是在Python那一端會比較比較好，接著用C/C在更加必要的時候?qū)懸恍U展。Python相當(dāng)適合我c語言設(shè)計1萬行以上的項目，但是能夠挺好地把網(wǎng)游項目的規(guī)模完全控制在10萬行代碼以內(nèi)。至于我聽說，知名度比較高的游戲文明應(yīng)該是用Python寫的。