如何防止網(wǎng)站被爬蟲爬取的幾種辦法？您可以添加機(jī)器人.txt文件，防止爬蟲程序爬網(wǎng)。被別人爬蟲了，應(yīng)該怎么找出來？首先，爬蟲有一定的特點(diǎn)。爬蟲一般有以下特點(diǎn)：?jiǎn)蜪P訪問頻率非常規(guī)律，我們經(jīng)常遇到一個(gè)問題

如何防止網(wǎng)站被爬蟲爬取的幾種辦法？

您可以添加機(jī)器人.txt文件，防止爬蟲程序爬網(wǎng)。

被別人爬蟲了，應(yīng)該怎么找出來？

首先，爬蟲有一定的特點(diǎn)。爬蟲一般有以下特點(diǎn)：

單IP訪問頻率非常規(guī)律，我們經(jīng)常遇到一個(gè)問題，當(dāng)我們?cè)诰W(wǎng)站上發(fā)帖時(shí)，會(huì)提示“發(fā)帖太快，請(qǐng)等待XX秒”，或提示“刷新頻率太快，請(qǐng)休息一會(huì)兒”，這是網(wǎng)站為了緩解對(duì)“用戶”的壓力而做出的一些限制，而爬蟲是相關(guān)用戶比較猖獗，訪問頻率比較快，如果單個(gè)IP訪問頻率很高，那么就會(huì)判斷為“爬蟲”，然后進(jìn)行限制。

請(qǐng)問怎么才能禁止一個(gè)網(wǎng)站的訪問？

如果您知道URL并想阻止它，它非常簡(jiǎn)單。修改主機(jī)后，所有瀏覽器都無法訪問它。詳情如下：

1。首先，單擊[this computer]并根據(jù)[C:windowssystem32driversetc]的路徑打開存儲(chǔ)主機(jī)的文件夾。由于該操作需要管理員權(quán)限，請(qǐng)右鍵單擊[hosts]文件，單擊屬性，然后切換到[hosts property]頁(yè)上的[security]選項(xiàng)卡。如圖所示：

2。單擊[組或用戶名]框下的[編輯]，如圖所示：

3。用記事本打開hosts，在末尾添加一行，然后輸入“127.0.0.1 URL you want to block”。最后，它將生效。

例如，我現(xiàn)在添加127.0.0.1百度網(wǎng)

瀏覽器效果如下：