怎么使用python腳本運(yùn)行多個(gè)scrapy爬蟲？1. 創(chuàng)建多個(gè)spider，science genspider spidername域名science genspider cnblogshomesp

怎么使用python腳本運(yùn)行多個(gè)scrapy爬蟲？

1. 創(chuàng)建多個(gè)spider，science genspider spidername域名

science genspider cnblogshomespidercnblogs.com網(wǎng)站

通過上面的命令，我們創(chuàng)建了一個(gè)爬行器，爬行器名為cnblogshomespider，起始地址為，視圖項(xiàng)目下有多少爬蟲

[根@博根Cnblogs]#科學(xué)列表

cnblogshomespider

cnblogsspider

從這里我們可以知道在我的項(xiàng)目下有兩個(gè)蜘蛛，一個(gè)是cnblogshomespider，另一個(gè)是cnblogsspider。

學(xué)的Python，爬蟲沒學(xué)好，數(shù)據(jù)分析還得用爬蟲，怎么辦？

1. 首先，我們要有信心，任何技術(shù)都是從入門到精通。爬蟲是應(yīng)用級技術(shù)。前提是學(xué)好基礎(chǔ)技術(shù)，學(xué)好爬蟲是理所當(dāng)然的?；A(chǔ)層次的知識(shí)包括：數(shù)據(jù)結(jié)構(gòu)、網(wǎng)絡(luò)技術(shù)、操作系統(tǒng)、算法研究、離散數(shù)學(xué)、線性代數(shù)、微積分等知識(shí)如果時(shí)間不允許，要理解就行，但必須全面。

3. 應(yīng)用層的技術(shù)是海量的，比如Python本身，大數(shù)據(jù)，crawler，各種web開發(fā)語言等等，可以說我的生活是有限的，我對它一無所知。星星之火可以燎原。如果我開始學(xué)習(xí)，我就不用擔(dān)心學(xué)好了。我舉一個(gè)例子：我在學(xué)校的時(shí)候不懂河內(nèi)塔的算法，但是工作之后，隨著知識(shí)和經(jīng)驗(yàn)的積累，當(dāng)你回首往事，你會(huì)明白的。

學(xué)不好和學(xué)不好沒有區(qū)別。相信你自己