求教python可以模擬瀏覽器行為執(zhí)行js的庫？普通的爬蟲程序或web庫（例如scratch/urllib/requests）無法實(shí)現(xiàn)此功能，因?yàn)樗鼈兯龅呐c您使用thunderbolt等下載工具下載

求教python可以模擬瀏覽器行為執(zhí)行js的庫？

普通的爬蟲程序或web庫（例如scratch/urllib/requests）無法實(shí)現(xiàn)此功能，因?yàn)樗鼈兯龅呐c您使用thunderbolt等下載工具下載web文本時(shí)所做的沒有區(qū)別。為了實(shí)現(xiàn)對后續(xù)網(wǎng)頁的訪問，通常有兩種解決方案。

1. 自動(dòng)控制瀏覽器訪問。這里的瀏覽器可以是普通瀏覽器，也可以是資源較少的無窗口瀏覽器，主要是因?yàn)闉g覽器有解析JS腳本的功能，可以跳轉(zhuǎn)。一般來說，實(shí)現(xiàn)方案是使用selenium防火墻或selenium phantomjs。許多教程可以在網(wǎng)上找到。它的使用相對簡單，但占用更多的資源。

2. 截獲請求或反向獲取網(wǎng)站前端代碼，找到請求鏈接和格式從服務(wù)器獲取試卷代碼，并模擬獲取試卷。

python模擬瀏覽器在網(wǎng)站上會(huì)被統(tǒng)計(jì)出來嗎？為什么？

有很多技術(shù)可以算出，但大多數(shù)網(wǎng)站不具備這種技術(shù)能力。

如何用Python模擬人為訪問網(wǎng)站的行為？

使用Python模仿者訪問網(wǎng)站，我認(rèn)為主要有以下幾個(gè)方面：

以上是Python爬蟲和瀏覽器的區(qū)別，我認(rèn)為這是不完整的。我希望你能給我一些建議

首先，我們需要弄清楚，我們能看到的所有網(wǎng)頁，無論是文字、圖片還是動(dòng)畫，都用HTML標(biāo)記，然后瀏覽器會(huì)把它放進(jìn)瀏覽器如果我們想成為一個(gè)網(wǎng)絡(luò)爬蟲，那么我們的爬蟲就沒有視覺，只有邏輯。在爬蟲的眼中，只有HTML標(biāo)記。其他樣式在爬蟲的眼中是浮云，所以爬蟲實(shí)際上是在讀取HTML標(biāo)記（這里涉及的一個(gè)知識(shí)點(diǎn)是，要獲取HTML標(biāo)記，我們需要使用一個(gè)名為request的庫），通過network request獲取HTML元素），然后從HTML標(biāo)記中提取您想要的內(nèi)容。這是一個(gè)網(wǎng)絡(luò)爬蟲。邏輯就這么簡單。如果您有使用python的經(jīng)驗(yàn)，建議您使用crawler框架scratch