如何用python爬取網頁中隱藏的div內容？你說的隱藏div內容應該是動態(tài)加載的數(shù)據(jù)，并沒有在網頁的源代碼中顯示，只是要求在網頁加載時顯示。在正常情況下，這種數(shù)據(jù)保存在json文件中。只要抓取包并分

如何用python爬取網頁中隱藏的div內容？

你說的隱藏div內容應該是動態(tài)加載的數(shù)據(jù)，并沒有在網頁的源代碼中顯示，只是要求在網頁加載時顯示。在正常情況下，這種數(shù)據(jù)保存在json文件中。只要抓取包并分析這個json文件的url地址，然后根據(jù)json文件結構進行分析，很快就可以得到動態(tài)加載的div數(shù)據(jù)。我以抓取人人貸上的零散數(shù)據(jù)為例，簡單介紹一下python是如何抓取div動態(tài)加載的數(shù)據(jù)的。實驗環(huán)境為win10 python3.6 pycharm5.0，主要步驟如下:

1.首先打開競價數(shù)據(jù)，如下。抓取的信息主要包括五個字段:年利率、貸款名稱、期限、金額、進度:

右鍵單擊相應的元素進行檢查，可以看到所有數(shù)據(jù)都嵌套在div標記中，如下所示:

打開網頁源代碼，按Ctrl F找到對應的數(shù)據(jù)，就會發(fā)現(xiàn)我們要找的數(shù)據(jù)不在網頁源代碼里，如下，也就是數(shù)據(jù)是動態(tài)加載的，所以我們可以 不能通過直接解析原始網頁來找到嵌套在div中的數(shù)據(jù):

2.然后，我們按F12調出開發(fā)者工具，點擊 "網絡 "-gt "xhr "接下來，F(xiàn)5刷新頁面，您將看到動態(tài)加載的json文件。看看這個文件，左邊是json文件的url地址，右邊是我們需要抓取的div數(shù)據(jù):

3.最后，對應上面的json文件，我們可以直接獲取并解析json。這里主要使用兩個模塊，r

請問自學Python需要具備什么？

我很高興回答你的問題。

自學python一定是興趣愛好的引導或者工作要求的強制要求。我學皮托語。n是自考前報班，因為報班和我在網上找的資料差不多。

第一個硬性要求

你需要有一臺電腦，有Windows系統(tǒng)的電腦就行。除非你有Linux系統(tǒng)的基礎，否則先用Windows系統(tǒng)的電腦。

第二個軟需求

1.下載并安裝python

作為python初學者，下載安裝是一個很大的挑戰(zhàn)。但是唐 不要怕，如果你是這一類的，我簡單介紹一下如何下載安裝:看看我之前回答的問題，有一個專門介紹了如何下載安裝。

2.環(huán)境變量的配置

環(huán)境變量仍然必須配置，因為python是開源的，很多第三方庫會使用pip模塊進行安裝。這些都是在線和命令行中的操作。如何配置？

步驟1:打開計算機系統(tǒng)屬性。

步驟2:高級系統(tǒng)設置

第三步:環(huán)境變量

步驟4:用下面的系統(tǒng)變量找到路徑。

步驟5:將下載并安裝的python路徑放入。

教科書課程

推薦書籍:python3網絡爬蟲開發(fā)實用書籍。價格在70左右。

推薦視頻:我這里之前有全套視頻，從基礎到人工智能。我只是還沒有 我還沒整理好。有需要可以聯(lián)系我。

推薦學習網站:python官網，百度搜索python官網，有一些不錯的python學習文檔。

更多精彩，敬請期待！