搜索引擎爬蟲在不知道域名的情況下如何搜索到網(wǎng)站？這個(gè)做不到吧？我們以在國內(nèi)最主要的百度爬蟲為例。你有一個(gè)新網(wǎng)站，你希望他來抓取你，需要先到百度站長(zhǎng)平臺(tái)提交你的網(wǎng)站。這就要滿足一些要求，比如有域名，域名

搜索引擎爬蟲在不知道域名的情況下如何搜索到網(wǎng)站？

這個(gè)做不到吧？我們以在國內(nèi)最主要的百度爬蟲為例。你有一個(gè)新網(wǎng)站，你希望他來抓取你，需要先到百度站長(zhǎng)平臺(tái)提交你的網(wǎng)站。這就要滿足一些要求，比如有域名，域名要完成備案。百度爬蟲通過多種維度對(duì)你的網(wǎng)站進(jìn)行評(píng)級(jí)，來決定抓取的頻次，評(píng)級(jí)越高越會(huì)經(jīng)常來抓取你的網(wǎng)站。所以沒有域名沒有完成備案應(yīng)該是不滿足最基本的要求的。還有，那你現(xiàn)在只能用ip訪問網(wǎng)站唄，等以后有了域名，又改用域名訪問導(dǎo)致鏈接變化，這樣很不好會(huì)掉權(quán)重的。

Python爬鏈接爬蟲怎么寫？

首先我們要清晰一點(diǎn)是，所有的網(wǎng)頁我們能看到的不管是文字還是圖片還是動(dòng)畫，都是以html標(biāo)記的，然后瀏覽器把這些標(biāo)記可視化的美觀的展示給我們，如果我們要做網(wǎng)絡(luò)爬蟲，那么我們的爬蟲是沒有視覺的，只有邏輯，在爬蟲眼里只有html標(biāo)簽，其他的樣式在爬蟲眼里都是浮云，所以爬蟲其實(shí)就是讀取html標(biāo)簽(這里涉及一個(gè)知識(shí)點(diǎn)就是要能得到html標(biāo)簽，需要用到一個(gè)庫是request庫，通過網(wǎng)絡(luò)請(qǐng)求拿到html元素)，然后把html標(biāo)簽中自己想要的東西給提取出來，這個(gè)就是一個(gè)網(wǎng)絡(luò)爬蟲了。 邏輯就這么簡(jiǎn)單。 如果有python使用經(jīng)驗(yàn)的，建議使用爬蟲框架scrapy