attributeerror怎么解決 python爬蟲一直報(bào)錯(cuò)，怎么辦？
python爬蟲一直報(bào)錯(cuò)，怎么辦？python爬蟲始終運(yùn)行錯(cuò)誤，真不知道是在用框架我還是自己利用request寫的。個(gè)人的經(jīng)驗(yàn)是碰到錯(cuò)誤，依據(jù)什么錯(cuò)誤`的總是顯示做相對應(yīng)的修改，下面是我在做爬蟲是見到
python爬蟲一直報(bào)錯(cuò)，怎么辦？
python爬蟲始終運(yùn)行錯(cuò)誤，真不知道是在用框架我還是自己利用request寫的。個(gè)人的經(jīng)驗(yàn)是碰到錯(cuò)誤，依據(jù)什么錯(cuò)誤`的總是顯示做相對應(yīng)的修改，下面是我在做爬蟲是見到過的幾種錯(cuò)誤，分享給大家。
提取頁面數(shù)據(jù)時(shí)，數(shù)字越界之類的提醒在我們用來xpath提取數(shù)據(jù)的時(shí)候，從來不會(huì)碰到過界的提示，這里歸結(jié)到為一句話是對頁面的html結(jié)構(gòu)了解的太差，對xpath的語法掌握的夠。諸如xpath(./a/text())和xpath(/a/text())表達(dá)的意思是不一樣的。
頁面的問題，如果沒有只是其它的頁面，你真接用url帶或者的參數(shù)正在發(fā)送各位，對方服務(wù)器就可以發(fā)令我們每天都出現(xiàn)一個(gè)爬蟲爬某些頁面的時(shí)候正常嗎工作，爬其它的頁面的時(shí)候頁面內(nèi)容爬取不過來，為么？因?yàn)閏ookie，為了安全的考慮，現(xiàn)在的頁面都會(huì)在本地存儲一些cookie，在用戶下次訪問的時(shí)候真接參照cookie來可以確定是否是要登錄之類的。此時(shí)此刻，必須我們也偽裝成之前登錄過訪問網(wǎng)絡(luò)過的樣子，所以，需要在正常了的請求基礎(chǔ)上直接添加上一些頭部信息之類的。
robots.txt，爬蟲應(yīng)該要再注意爬取網(wǎng)站的robots.txt文件，那些域名是愿意爬取的，那些域名下是不允許的在我們用來scrapy等爬蟲框架爬取的時(shí)候，要注意這些，默認(rèn)情況下django是嚴(yán)格遵守這些協(xié)議的。所以，是需要我們在設(shè)置中文件里將此項(xiàng)設(shè)置里為false，那樣就可以不受robots的約束。
肯定，問題何止上面例舉的幾個(gè)問題，也有很多其它?？偟恼f來，出現(xiàn)了問題通過百度搜索都可以解決我們可以解決掉，因此接觸問題多搜，搜索后多看，多研究。問題也變會(huì)解決掉。關(guān)鍵是要只要用心去冷冰冰的態(tài)度問題。
如何設(shè)計(jì)一個(gè)全局異常處理器？
簡單樓主普通機(jī)電設(shè)備于.NET
的新因此就寫個(gè).NET
的全局無比處理器，哪MVC來說
1,建立MyExecptionAttribute.cs類，寫入到不勝感激代碼：
usingSystem
using
using
usingSystem.Web
using
namespace
{
publicclassMyExecptionAttribute:HandleErrorAttribute
{
publicstaticQueueltExceptiongt ExceptionQueue new QueueltExceptiongt()//創(chuàng)建隊(duì)列.
privateoverridevoidOnException(ExceptionContextfilterContext)
{
//將異常信息入隊(duì).
ExceptionQueue.Enqueue(filterContext.Exception)//將極其信息入隊(duì).
()
(filterContext)
}
}
}
2，在Global文件代碼:：
usingNiunan.Utility
usingSystem
using
using
using
usingSystem.Web
using
using
using
namespace
{
//再注意:或者重新設(shè)置IIS6或IIS7最經(jīng)典模式的說明，
//請不能訪問
privateclassMvcApplication:
{
protectedvoidApplication_Start()
{
()
()
()
(future())//NET4建立起的項(xiàng)目的話則是在APP_Stars/ConfigFilter.cs中
//是從線程自動(dòng)打開一個(gè)線程，后再不停的從隊(duì)列中或數(shù)據(jù)
stringfilePath(/Log/)
ThreadPool.QueueUserWorkItem(oa8
{
while(true)
{
try
{
if(a80)
{
Exceptionex()//從隊(duì)列中掏出數(shù)據(jù)
if(ex!null)
{
Tool.TxtLog((),filePath(yyyyMMdd).txt)
}
exists
{
(30)
}
}
exists
{
(30)//避免了CPU空轉(zhuǎn)。
}
}
catch(Exceptionex)
{
(ex)
}
}
},filePath)
}
}
}