Java爬蟲(chóng)問(wèn)題，網(wǎng)頁(yè)核心文案是js動(dòng)態(tài)獲取的，如何使用java獲??？即使是JS動(dòng)態(tài)訪問(wèn)，他也有一個(gè)請(qǐng)求地址，你可以通過(guò)chrome或Firefox的調(diào)試功能找到他！按F12，然后在控制臺(tái)打開(kāi)時(shí)刷新頁(yè)

Java爬蟲(chóng)問(wèn)題，網(wǎng)頁(yè)核心文案是js動(dòng)態(tài)獲取的，如何使用java獲?。?/h2>

即使是JS動(dòng)態(tài)訪問(wèn)，他也有一個(gè)請(qǐng)求地址，你可以通過(guò)chrome或Firefox的調(diào)試功能找到他！按F12，然后在控制臺(tái)打開(kāi)時(shí)刷新頁(yè)面！控制臺(tái)將顯示所有網(wǎng)絡(luò)呼叫地址！去找找看！然后你就可以通過(guò)他的格式得到數(shù)據(jù)或者郵寄到這個(gè)地址！（登錄時(shí)記得帶cookie）

如何用JAVA獲取html網(wǎng)頁(yè)中我所需要的數(shù)據(jù)？

一般網(wǎng)頁(yè)（至少我們公司是）的翻頁(yè)功能如下：

1。JS從服務(wù)器請(qǐng)求JSON數(shù)據(jù)，傳遞給服務(wù)器的參數(shù)包括page和count。

2. JS根據(jù)JSON將HTML輸出到元素。如果您要抓取的網(wǎng)頁(yè)是這種形式，可以打開(kāi)瀏覽器的URL請(qǐng)求跟蹤功能，獲取JS與服務(wù)器交互的URL和參數(shù)。JSON頁(yè)面，并繼續(xù)解析數(shù)據(jù)。當(dāng)然，如果網(wǎng)頁(yè)采用非異步翻頁(yè)模式，而不是使用JSON通信，但是每次服務(wù)器生成新頁(yè)面時(shí)，可能需要解析HTML并獲取數(shù)據(jù)，但本質(zhì)上還是上面的粗體：獲取與服務(wù)器交互的URL并請(qǐng)求數(shù)據(jù)。我希望我已經(jīng)清楚地表明，溝通是一個(gè)技能點(diǎn)，但答案似乎從來(lái)沒(méi)有點(diǎn)燃