如何使用爬蟲監(jiān)控一系列網(wǎng)站的更新情況？您的監(jiān)視器肯定會指定數(shù)據(jù)。不可能說頁面日期會被更新首先為網(wǎng)站的目標數(shù)據(jù)編寫爬蟲程序并存儲，然后定期爬網(wǎng)。每次爬網(wǎng)時，都可以進行符號比較，比如第一條消息的文本或鏈接

如何使用爬蟲監(jiān)控一系列網(wǎng)站的更新情況？

您的監(jiān)視器肯定會指定數(shù)據(jù)。不可能說頁面日期會被更新

首先為網(wǎng)站的目標數(shù)據(jù)編寫爬蟲程序并存儲，然后定期爬網(wǎng)。每次爬網(wǎng)時，都可以進行符號比較，比如第一條消息的文本或鏈接地址

當你打開網(wǎng)頁時，狀態(tài)碼是200，刷新時狀態(tài)碼會變?yōu)?04

但是如果你經(jīng)常爬網(wǎng)，響應(yīng)碼應(yīng)該總是200

已經(jīng)做過幾次大規(guī)模服務(wù)器了監(jiān)控方面，下面推薦幾種監(jiān)控軟件和輔助軟件。

1. ZABBIX是一個古老的經(jīng)典監(jiān)控軟件。它是一種企業(yè)級分布式開源監(jiān)控方案。它可以實時監(jiān)控從數(shù)千臺服務(wù)器、虛擬機和網(wǎng)絡(luò)設(shè)備收集的數(shù)百萬個指標。

提供圖形操作界面，可以輕松添加監(jiān)控指示燈和報警指示燈。支持郵件、微信等提醒通知

2。普羅米修斯是近年來最流行的監(jiān)控系統(tǒng)。Prometheus是Soundcloud開發(fā)的開源監(jiān)控報警系統(tǒng)和時間序列數(shù)據(jù)庫（TSDB）。用go語言開發(fā)的Prometheus是googleborgmon監(jiān)控系統(tǒng)的開源版本。

其優(yōu)點是重量輕、配置簡單、使用方便、報警模板豐富。

以上是兩種監(jiān)控軟件，以下是一些輔助監(jiān)控軟件。

1. Grafana監(jiān)控顯示界面，在我們得到監(jiān)控數(shù)據(jù)后，我們可能需要將數(shù)據(jù)顯示給領(lǐng)導(dǎo)。Grafana就是這樣一個軟件，開源，免費，模板豐富。它可以直接與ZABBIX Prometheus和MySQL數(shù)據(jù)庫連接。

2. 釘子機器人。如何處理服務(wù)器報警，當然要發(fā)消息通知運維人員。指甲機器人提供了這樣的功能。直接在美甲組中創(chuàng)建機器人將為我們提供一個restful界面，我們可以直接發(fā)送post請求。原生Linux由curl直接發(fā)送，Prometheus提供直接對接的插件。