gbdt算法通俗理解 使用sklearn做文本分類,速度比較慢,有什么優(yōu)化方法?
使用sklearn做文本分類,速度比較慢,有什么優(yōu)化方法?首先,我想你可以打印出每一步的時(shí)間,看看哪一步需要更多的時(shí)間,并嘗試找到優(yōu)化方法。讓我先談?wù)勎蚁氲降膸c(diǎn)。在sklearn的一些分類方法中,您
使用sklearn做文本分類,速度比較慢,有什么優(yōu)化方法?
首先,我想你可以打印出每一步的時(shí)間,看看哪一步需要更多的時(shí)間,并嘗試找到優(yōu)化方法。讓我先談?wù)勎蚁氲降膸c(diǎn)。
在sklearn的一些分類方法中,您還可以嘗試在其參數(shù)中使用multi-process選項(xiàng)。
如果您的培訓(xùn)數(shù)據(jù)很大,請先嘗試LSA、LDA和其他模型來降低維度。這兩種方法在sklearn中也可用。
此外,在countvectorizer中,設(shè)置mintf和maxtf參數(shù)以避免過多的字。雖然這可能對速度影響很小,但可能會(huì)對結(jié)果產(chǎn)生影響。
如果你在處理中文文本,必須有一個(gè)好的停止詞和字典。
暫時(shí)就這么多了。
找個(gè)咨詢關(guān)于機(jī)器學(xué)習(xí)算法分類的幾個(gè)問題?
小數(shù)據(jù)集不適合神經(jīng)網(wǎng)絡(luò),因?yàn)閿?shù)據(jù)集太小,很難訓(xùn)練出理想的結(jié)果。對于小數(shù)據(jù)集,可以嘗試使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法,如支持向量機(jī)、決策樹等。只要數(shù)據(jù)集的特征差異明顯,就很容易學(xué)習(xí)到合適的模型。