python分析鳶尾花數(shù)據(jù) 用python處理一個(gè)1G左右的數(shù)據(jù)集,運(yùn)行速度非常慢,怎樣優(yōu)化?
用python處理一個(gè)1G左右的數(shù)據(jù)集,運(yùn)行速度非常慢,怎樣優(yōu)化?對(duì)于一個(gè)老司機(jī)來(lái)說(shuō),回答這個(gè)問(wèn)題是絕對(duì)必要的。回到問(wèn)題,如果您使用panda讀取CSV,您可以預(yù)先設(shè)置塊大小,然后使用readcsv分
用python處理一個(gè)1G左右的數(shù)據(jù)集,運(yùn)行速度非常慢,怎樣優(yōu)化?
對(duì)于一個(gè)老司機(jī)來(lái)說(shuō),回答這個(gè)問(wèn)題是絕對(duì)必要的。
回到問(wèn)題,如果您使用panda讀取CSV,您可以預(yù)先設(shè)置塊大小,然后使用readcsv分塊讀取。在這種情況下,通常可以解決大多數(shù)情況下的內(nèi)存錯(cuò)誤問(wèn)題