什么是Robots協(xié)議？機(jī)器人是一個(gè)英語(yǔ)單詞。懂英語(yǔ)的人都知道機(jī)器人在中文里是機(jī)器人的意思。我們通常指的是機(jī)器人協(xié)議，機(jī)器人.txt稱為robot或robots協(xié)議（又稱crawler協(xié)議、robot

什么是Robots協(xié)議？

機(jī)器人是一個(gè)英語(yǔ)單詞。懂英語(yǔ)的人都知道機(jī)器人在中文里是機(jī)器人的意思。我們通常指的是機(jī)器人協(xié)議，機(jī)器人.txt稱為robot或robots協(xié)議（又稱crawler協(xié)議、robot協(xié)議等），全稱為“Internet crawler exclusion protocol”，也是搜索引擎的國(guó)際默認(rèn)協(xié)議。我們的網(wǎng)站可以通過robots協(xié)議告訴搜索引擎蜘蛛哪些頁(yè)面可以被爬網(wǎng)，哪些頁(yè)面不能被爬網(wǎng)。robots協(xié)議的實(shí)質(zhì)是網(wǎng)站與搜索引擎crawler之間的通信方式，用來(lái)指導(dǎo)搜索引擎更好地捕獲網(wǎng)站的內(nèi)容。例如，當(dāng)搜索蜘蛛訪問一個(gè)網(wǎng)站時(shí)，它檢查的第一個(gè)文件是該網(wǎng)站的根目錄中是否有一個(gè)文件機(jī)器人.txt文件。如果有，爬行器將根據(jù)文件中的條件代碼確定可以訪問哪些頁(yè)面或內(nèi)容；如果沒有協(xié)議文件，所有搜索爬行器將能夠訪問網(wǎng)站上不受協(xié)議限制的所有內(nèi)容頁(yè)面。而百度的官方建議是：只有當(dāng)你的網(wǎng)站包含你不想被搜索引擎收錄的內(nèi)容時(shí)，你才需要使用它機(jī)器人.txt篩選文件。如果你想讓搜索引擎包含網(wǎng)站上的所有內(nèi)容，請(qǐng)不要?jiǎng)?chuàng)建機(jī)器人.txt文件。

新建的網(wǎng)站，這個(gè)robots是什么意思？

禁止搜索引擎爬網(wǎng)意味著您使用phpcms。機(jī)器人協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”。該網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁(yè)面可以被爬網(wǎng)，哪些頁(yè)面不能被爬網(wǎng)。如果網(wǎng)站運(yùn)營(yíng)商通過文件協(xié)議進(jìn)行限制，則搜索界面會(huì)提示由于機(jī)器人.txt文件中有一個(gè)限制指令。