用同一數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練結(jié)果不一樣，有時(shí)正確率很高，有時(shí)很低，為什么？其實(shí)這個(gè)問(wèn)題的實(shí)質(zhì)是，如果我們用機(jī)器學(xué)習(xí)算法在數(shù)據(jù)集上訓(xùn)練一次數(shù)據(jù)模型，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集和數(shù)據(jù)排

用同一數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練結(jié)果不一樣，有時(shí)正確率很高，有時(shí)很低，為什么？

其實(shí)這個(gè)問(wèn)題的實(shí)質(zhì)是，如果我們用機(jī)器學(xué)習(xí)算法在數(shù)據(jù)集上訓(xùn)練一次數(shù)據(jù)模型，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集和數(shù)據(jù)排序再訓(xùn)練一遍，第一個(gè)模型和第二個(gè)模型是一樣的嗎？

這可能是因?yàn)樯窠?jīng)網(wǎng)絡(luò)用增益或權(quán)重的隨機(jī)值初始化，然后每個(gè)模擬在訓(xùn)練階段有不同的起點(diǎn)。如果您希望始終保持相同的初始權(quán)重，可以嘗試為初始權(quán)重修復(fù)種子以消除問(wèn)題。

如果我們深入研究這個(gè)問(wèn)題，我們可以根據(jù)ml算法的“確定性”來(lái)對(duì)其進(jìn)行分類。當(dāng)從同一個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)：

一個(gè)是總是生成相同的模型，并且記錄以相同的順序呈現(xiàn)；

另一個(gè)是總是生成不同的模型，并且記錄順序不同。

在實(shí)踐中，大多數(shù)是“不確定的”。模型變化的原因可能是機(jī)器學(xué)習(xí)算法本身存在隨機(jī)游走、不同權(quán)值的隨機(jī)初始化、不同分量的概率分布抽樣來(lái)分配優(yōu)化函數(shù)。

雖然模型的“不確定性”可能會(huì)對(duì)單個(gè)訓(xùn)練結(jié)果造成干擾，但我們也可以用“不確定性”來(lái)確認(rèn)模型的穩(wěn)定性，如決策樹(shù)、支持向量機(jī)（SVM）、神經(jīng)網(wǎng)絡(luò)等，最終可以通過(guò)多次迭代來(lái)確認(rèn)模型的穩(wěn)定性。

卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，用訓(xùn)練集訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可以提取訓(xùn)練集的特征嗎？還是只能提取測(cè)試集的？

1. 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史

3。反向傳播

當(dāng)用訓(xùn)練集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）時(shí)，卷積神經(jīng)網(wǎng)絡(luò)正向傳播的卷積池過(guò)程就是特征提取過(guò)程。最后，計(jì)算出網(wǎng)絡(luò)的損失函數(shù)，然后根據(jù)鏈導(dǎo)數(shù)規(guī)則，利用反向傳播算法更新網(wǎng)絡(luò)的權(quán)值參數(shù)。這是調(diào)整各層網(wǎng)絡(luò)和卷積核的特征抽取器的參數(shù)（各層的特征和功能不同）。

訓(xùn)練是為了使整個(gè)卷積神經(jīng)網(wǎng)絡(luò)的特征提取效果更好（越來(lái)越適合于訓(xùn)練集），所以訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)可以提取訓(xùn)練集的特征。

運(yùn)行測(cè)試集的目的是測(cè)試特征提取器的能力。此時(shí)，通過(guò)訓(xùn)練集對(duì)CNN各層的參數(shù)進(jìn)行訓(xùn)練，可以提取出相似訓(xùn)練集的參數(shù)（圖像、聲音、文本）。此時(shí)，我們需要再次運(yùn)行測(cè)試集來(lái)測(cè)試CNN的特征提取能力。

數(shù)據(jù)集：機(jī)器學(xué)習(xí)任務(wù)中使用的一組數(shù)據(jù)，每個(gè)數(shù)據(jù)集稱為一個(gè)樣本。反映樣品在某一方面的性能或性質(zhì)的項(xiàng)目或?qū)傩苑Q為特征。

訓(xùn)練集：訓(xùn)練過(guò)程中使用的數(shù)據(jù)集，其中每個(gè)訓(xùn)練樣本稱為訓(xùn)練樣本。從數(shù)據(jù)中學(xué)習(xí)模型的過(guò)程稱為學(xué)習(xí)（訓(xùn)練）。

測(cè)試集：學(xué)習(xí)模型后，將其用于預(yù)測(cè)的過(guò)程稱為測(cè)試，使用的數(shù)據(jù)集稱為測(cè)試集，每個(gè)樣本稱為測(cè)試樣本。

既然使用神經(jīng)網(wǎng)絡(luò)也可以解決分類問(wèn)題，那SVM、決策樹(shù)這些算法還有什么意義呢？

這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡(luò)這樣的深度學(xué)習(xí)算法需要訓(xùn)練大量的數(shù)據(jù)集來(lái)建立更好的預(yù)測(cè)模型。許多大型互聯(lián)網(wǎng)公司更喜歡深度學(xué)習(xí)算法，因?yàn)樗麄儷@得的用戶數(shù)據(jù)是數(shù)以億計(jì)的海量數(shù)據(jù)，這更適合于卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法。

如果樣本數(shù)量較少，則更適合使用SVM、決策樹(shù)和其他機(jī)器學(xué)習(xí)算法。如果你有一個(gè)大的數(shù)據(jù)集，你可以考慮使用卷積神經(jīng)網(wǎng)絡(luò)和其他深度學(xué)習(xí)算法。

以下是一個(gè)圖表，用于說(shuō)明根據(jù)樣本數(shù)量和數(shù)據(jù)集大小選擇的任何機(jī)器學(xué)習(xí)算法。

如果你認(rèn)為它對(duì)你有幫助，你可以多表?yè)P(yáng)，也可以關(guān)注它。謝謝您！