python添加請求頭和請求體 被別人爬蟲了,應(yīng)該怎么找出來?
被別人爬蟲了,應(yīng)該怎么找出來?首先,爬蟲有一定的特點(diǎn)。爬蟲一般有以下特點(diǎn):單IP訪問頻率非常規(guī)律,我們經(jīng)常遇到一個問題,當(dāng)我們在網(wǎng)站上發(fā)帖時(shí),會提示“發(fā)帖太快,請等待XX秒”,或提示“刷新頻率太快,請
被別人爬蟲了,應(yīng)該怎么找出來?
首先,爬蟲有一定的特點(diǎn)。爬蟲一般有以下特點(diǎn):
單IP訪問頻率非常規(guī)律,我們經(jīng)常遇到一個問題,當(dāng)我們在網(wǎng)站上發(fā)帖時(shí),會提示“發(fā)帖太快,請等待XX秒”,或提示“刷新頻率太快,請休息一會兒”,這是網(wǎng)站為了緩解對“用戶”的壓力而做出的一些限制,而爬蟲是相關(guān)用戶比較猖獗,訪問頻率比較快,如果單個IP訪問頻率很高,那么就會判斷為“爬蟲”,然后進(jìn)行限制。