用同一數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練結(jié)果不一樣，有時正確率很高，有時很低，為什么？其實這個問題的實質(zhì)是，如果我們用機器學習算法在數(shù)據(jù)集上訓(xùn)練一次數(shù)據(jù)模型，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集和數(shù)據(jù)排

用同一數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練結(jié)果不一樣，有時正確率很高，有時很低，為什么？

其實這個問題的實質(zhì)是，如果我們用機器學習算法在數(shù)據(jù)集上訓(xùn)練一次數(shù)據(jù)模型，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集和數(shù)據(jù)排序再訓(xùn)練一遍，第一個模型和第二個模型是一樣的嗎？

這可能是因為神經(jīng)網(wǎng)絡(luò)用增益或權(quán)重的隨機值初始化，然后每個模擬在訓(xùn)練階段有不同的起點。如果您希望始終保持相同的初始權(quán)重，可以嘗試為初始權(quán)重修復(fù)種子以消除問題。

如果我們深入研究這個問題，我們可以根據(jù)ml算法的“確定性”來對其進行分類。當從同一個數(shù)據(jù)集進行訓(xùn)練時：

一個是總是生成相同的模型，并且記錄以相同的順序呈現(xiàn)；

另一個是總是生成不同的模型，并且記錄順序不同。

在實踐中，大多數(shù)是“不確定的”。模型變化的原因可能是機器學習算法本身存在隨機游走、不同權(quán)值的隨機初始化、不同分量的概率分布抽樣來分配優(yōu)化函數(shù)。

雖然模型的“不確定性”可能會對單個訓(xùn)練結(jié)果造成干擾，但我們也可以用“不確定性”來確認模型的穩(wěn)定性，如決策樹、支持向量機（SVM）、神經(jīng)網(wǎng)絡(luò)等，最終可以通過多次迭代來確認模型的穩(wěn)定性。

既然使用神經(jīng)網(wǎng)絡(luò)也可以解決分類問題，那SVM、決策樹這些算法還有什么意義呢？

這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡(luò)這樣的深度學習算法需要訓(xùn)練大量的數(shù)據(jù)集來建立更好的預(yù)測模型。許多大型互聯(lián)網(wǎng)公司更喜歡深度學習算法，因為他們獲得的用戶數(shù)據(jù)是數(shù)以億計的海量數(shù)據(jù)，這更適合于卷積神經(jīng)網(wǎng)絡(luò)等深度學習算法。

如果樣本數(shù)量較少，則更適合使用SVM、決策樹和其他機器學習算法。如果你有一個大的數(shù)據(jù)集，你可以考慮使用卷積神經(jīng)網(wǎng)絡(luò)和其他深度學習算法。

以下是一個圖表，用于說明根據(jù)樣本數(shù)量和數(shù)據(jù)集大小選擇的任何機器學習算法。

如果你認為它對你有幫助，你可以多表揚，也可以關(guān)注它。謝謝您

很小的數(shù)據(jù)集用深度神經(jīng)網(wǎng)絡(luò)跑有沒有必要？

這取決于它有多小。

一般來說，如果數(shù)據(jù)個數(shù)n小于特征個數(shù)F，則不推薦使用神經(jīng)網(wǎng)絡(luò)，支持向量機更好。

最好使用嵌套CV來評估性能。