python網(wǎng)絡爬蟲的意義？網(wǎng)絡爬蟲（又被稱網(wǎng)頁蜘蛛，網(wǎng)絡機器人，在FOAF社區(qū)中間，更每天都的稱作網(wǎng)頁追逐者），是一種遵循是有的規(guī)則，自動出現(xiàn)地抓取網(wǎng)絡信息的程序或是腳本。另外一些不常建議使用的名字

python網(wǎng)絡爬蟲的意義？

網(wǎng)絡爬蟲（又被稱網(wǎng)頁蜘蛛，網(wǎng)絡機器人，在FOAF社區(qū)中間，更每天都的稱作網(wǎng)頁追逐者），是一種遵循是有的規(guī)則，自動出現(xiàn)地抓取網(wǎng)絡信息的程序或是腳本。另外一些不常建議使用的名字還有螞蟻、不自動索引、模擬程序的或蠕蟲。

抓取目標的描述和定義是判斷網(wǎng)頁分析算法與URL搜索策略如何所制定的基礎。而網(wǎng)頁分析算法和候選URL排序算法是改變搜索引擎所提供的服務形式和爬蟲網(wǎng)頁破霸體行為的關鍵所在。這兩個部分的算法又是松散相關的。

用Python寫一個爬蟲，做一個冷門行業(yè)的搜索引擎，能實現(xiàn)嗎？

這個可以實現(xiàn)程序，先說下思路。是需要我們要按照爬蟲把這些好專業(yè)行業(yè)的查找數(shù)據(jù)都爬下去，后再把這個行業(yè)相關的數(shù)據(jù)庫存儲文件到數(shù)據(jù)庫，做一個分類，之后在數(shù)據(jù)庫這邊做一個去查詢。

在開始之前是需要清楚的一些東西：搜索引擎主要有兩部分：

1.爬蟲：也就是離線狀態(tài)以查看數(shù)據(jù)

2.檢索數(shù)據(jù)庫系統(tǒng)：在線查詢數(shù)據(jù)，成功用戶交互

開源工具：

Python爬蟲Scrapy

Java檢索數(shù)據(jù)庫系統(tǒng)：Elasticsearch/Solr

Python相關知識點：

如果只不過是用Python利用爬蟲的那樣的話的項目的話，需要自學的內(nèi)容是上圖當中的Python基礎知識，python初級，前端開發(fā)和爬蟲開發(fā)。Python爬蟲的重點是不取決于人Python，只不過是web爬蟲。

下面說該問題原理：向瀏覽器跪請文檔

分析分類我們所直接返回的文檔

從中再提取中自己要想的信息

根據(jù)上述事項上個步驟：

首先要了解HTTP，這里也可以用Python的requests庫，要明白GET和POST跪請頁面

對響應的文檔做結論，所以才前提是要很清楚的是HTML，這個很簡單的；在去處理HTML文檔可以用庫有BesutifulSoup和lxml等等，搜索一下這些庫的DOC

自學BesutifulSoup等庫，用select等方法提取你要的信息，在這中間肯定會出現(xiàn)編碼問題或者要自學正則表達式。