python爬蟲教程 python爬蟲一部分中文亂碼一部分中文正常,如何解決?
python爬蟲一部分中文亂碼一部分中文正常,如何解決?這個(gè)問題沒有遇到過,有的中文亂碼,有的正常中文,正常情況下,一個(gè)網(wǎng)頁的編碼格式是一個(gè),不能是幾個(gè),要么正常,要么亂碼,不清楚你用哪個(gè)包做爬蟲,這
python爬蟲一部分中文亂碼一部分中文正常,如何解決?
這個(gè)問題沒有遇到過,有的中文亂碼,有的正常中文,正常情況下,一個(gè)網(wǎng)頁的編碼格式是一個(gè),不能是幾個(gè),要么正常,要么亂碼,不清楚你用哪個(gè)包做爬蟲,這里我就簡單的以requests包為例,介紹如何設(shè)置網(wǎng)頁編碼,使中文正常顯示,實(shí)際測試環(huán)境win7python3.6主要步驟如下:1https://www.baidu.com/例如,使用請求的get方法來請求這個(gè)頁面。代碼如下:
程序運(yùn)行結(jié)果如下。您可以看到頁面的編碼方式是iso-8859-1:
并且iso-8859-1本身不支持中文,所以頁面的中文內(nèi)容顯示為亂碼,如下圖所示:
2。為了支持中文顯示,我們可以重置頁面代碼,如下所示,只要我們支持中文,如UTF-8等,代碼如下所示:
3。程序運(yùn)行結(jié)果如下,頁面的中文內(nèi)容已經(jīng)成功顯示,并且沒有出現(xiàn)亂碼:
到目前為止,我們已經(jīng)完成了中文的正常顯示。就整個(gè)過程而言,其實(shí)很簡單。在使用Python作為爬蟲時(shí),經(jīng)常會(huì)遇到中文亂碼的情況。一般來說,只要設(shè)置網(wǎng)頁的編碼格式,比如UTF-8,就可以支持中文。網(wǎng)上有很多關(guān)于中文亂碼的信息。你可以參考它的幫助和學(xué)習(xí)它也很有幫助。我不在這里重復(fù)了。希望以上分享的內(nèi)容能對您有所幫助。