神經網絡過擬合的表現 深度神經網絡是否夸張地過擬合了?
深度神經網絡是否夸張地過擬合了?這不可能是一樣的。1. 過度裝配可分為許多情況。一是現在的情況太多了。這種神經網絡能對許多情況給出正確的答案。即使它是過度安裝,你也無法證明它。此外,即使它能工作和排氣
深度神經網絡是否夸張地過擬合了?
這不可能是一樣的。
1. 過度裝配可分為許多情況。一是現在的情況太多了。這種神經網絡能對許多情況給出正確的答案。即使它是過度安裝,你也無法證明它。此外,即使它能工作和排氣,也沒有壞處。
2. 是否過擬合與我們的神經網絡模型和訓練集有關。當二者的組合過擬合時,它在訓練集上運行良好,在驗證集上也會出現問題?,F在有一些方法可以對訓練集的數據進行預處理、多次輸入和多次訓練。
3. 目前,過度擬合的問題是不可避免的。培訓本身就是一種適應過程。如果未來在數學原理或應用這方面有質的突破,可能有解決的機會。
既然使用神經網絡也可以解決分類問題,那SVM、決策樹這些算法還有什么意義呢?
這取決于數據量和樣本數。不同的樣本數和特征數據適合不同的算法。像神經網絡這樣的深度學習算法需要訓練大量的數據集來建立更好的預測模型。許多大型互聯(lián)網公司更喜歡深度學習算法,因為他們獲得的用戶數據是數以億計的海量數據,這更適合于卷積神經網絡等深度學習算法。
如果樣本數量較少,則更適合使用SVM、決策樹和其他機器學習算法。如果你有一個大的數據集,你可以考慮使用卷積神經網絡和其他深度學習算法。
以下是一個圖表,用于說明根據樣本數量和數據集大小選擇的任何機器學習算法。
如果你認為它對你有幫助,你可以多表揚,也可以關注它。謝謝您
可以通過直接減少hidden layer、hidden unit而不是加正則化來解決神經網絡過擬合嗎?
簡單的答案是肯定的。復雜的答案是不確定的(見下文)。
這個概念。
(圖片作者:chabacano,許可證:CC by sa 4.0)
從圖像中可以明顯看出,過度擬合的曲線過于曲折(復雜),對現有數據擬合得非常好,但它不能很好地描述數據的規(guī)律,因此面對新數據,我們不得不停下來。
從上面我們得到一個直覺,過度擬合的模型往往比正確的模型更復雜。
。您所說的“直接減少隱藏層和隱藏單元的數量”使網絡更薄、更窄正是簡化模型的方法。這個想法沒有問題。
但是,我們可能必須嘗試找出它是否有效。因為,一般來說,更復雜的網絡可能更有表現力。
一般來說,神經網絡仍然是一個黑匣子。有時,正則化的效果更好,有時則不然。一些問題可能是復雜的網絡工作得很好,另一些問題可能是深度和狹窄的網絡工作得很好,另一些問題可能是薄而寬的網絡工作得很好,或者一些問題可能是簡單的網絡工作得很好。
具體來說,為了解決過擬合問題,除了簡化模型(即您稱之為“直接減少隱藏層、隱藏層、隱藏層”)外,還存在漏項(在某種意義上,我們可以看到模型的某些部分由于簡化模型的繞道而無法工作),以及人為增加稀疏性限制(稀疏性和簡化之間存在模糊關系)或盡快停止訓練。