神經(jīng)網(wǎng)絡(luò)能不能完全擬合簡單函數(shù)呢？答案是，理論上，這取決于運氣。在很大的概率中，訓(xùn)練的結(jié)果是達(dá)到局部最優(yōu)。如果你幸運的話，就有可能達(dá)到全局最優(yōu)。因此，在實際應(yīng)用中，神經(jīng)網(wǎng)絡(luò)完全擬合函數(shù)存在誤差。當(dāng)然，

神經(jīng)網(wǎng)絡(luò)能不能完全擬合簡單函數(shù)呢？

答案是，理論上，這取決于運氣。

在很大的概率中，訓(xùn)練的結(jié)果是達(dá)到局部最優(yōu)。如果你幸運的話，就有可能達(dá)到全局最優(yōu)。因此，在實際應(yīng)用中，神經(jīng)網(wǎng)絡(luò)完全擬合函數(shù)存在誤差。

當(dāng)然，神經(jīng)網(wǎng)絡(luò)的最佳用途不是擬合函數(shù)。我們之所以使用神經(jīng)網(wǎng)絡(luò)，是因為我們需要它的泛化能力，即對于未知的特征可以得到很好的分類或回歸結(jié)果。擬合函數(shù)只使用它的記憶能力。

如何評價「神經(jīng)網(wǎng)絡(luò)本質(zhì)不過是初中生都會的復(fù)合函數(shù)」？

如果說講本質(zhì)是很簡單的事情，至少聽起來很簡單。

計算機(jī)的本質(zhì)只是門電路的開關(guān)，程序的本質(zhì)只是01組合，火箭發(fā)射的本質(zhì)只是軌道擬合，生命體的本質(zhì)只是一堆蛋白質(zhì)，思維的本質(zhì)只是電信號，等等。如果追根溯源，人的本質(zhì)就像一堆原子。

許多東西無法分解為可見，因為它們的價值就在組合的這一部分。神經(jīng)網(wǎng)絡(luò)的本質(zhì)確實是一個復(fù)合函數(shù)，因為加權(quán)是乘法，偏移是加法，激活是函數(shù)運算。這些都很簡單。即使外部激活函數(shù)稍微復(fù)雜一些，它仍然可以被寫出來。但是，需要提出神經(jīng)網(wǎng)絡(luò)的反向傳播，否則神經(jīng)網(wǎng)絡(luò)無法優(yōu)化；全連通網(wǎng)絡(luò)的參數(shù)個數(shù)過大，無法增加深度，因此需要提出CNN、RESNET、dropout、pool，并在此基礎(chǔ)上實現(xiàn)它們的反向傳播算法，這些理論是經(jīng)過嚴(yán)格的數(shù)據(jù)邏輯驗證后提出的。

當(dāng)然，任何人都可以做復(fù)合功能，但他們做不到。最后兩個月的課足夠?qū)W習(xí)了，但是學(xué)習(xí)這些東西能提出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)嗎？你學(xué)完高等數(shù)學(xué)后能寫一篇約洛嗎？不要老是談?wù)摼A。只有真正理解的人才有資格談?wù)摫举|(zhì)。人們甚至不知道神經(jīng)網(wǎng)絡(luò)的本質(zhì)。聽起來像是土木科學(xué)說地球是平的。

神經(jīng)網(wǎng)絡(luò)是不是可以擬合任何問題呢？你怎么看？

上世紀(jì)80年代，一個日本人證明了這一點。只要有足夠的神經(jīng)元，單隱層神經(jīng)網(wǎng)絡(luò)就可以擬合任意連續(xù)函數(shù)。但武斷的問題有點太多了。許多不合邏輯的問題目前無法解決。神經(jīng)網(wǎng)絡(luò)不是萬能的，需要大量的樣本進(jìn)行訓(xùn)練，遠(yuǎn)遠(yuǎn)不如人類的思維和分析能力。

既然使用神經(jīng)網(wǎng)絡(luò)也可以解決分類問題，那SVM、決策樹這些算法還有什么意義呢？

這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡(luò)這樣的深度學(xué)習(xí)算法需要訓(xùn)練大量的數(shù)據(jù)集來建立更好的預(yù)測模型。許多大型互聯(lián)網(wǎng)公司更喜歡深度學(xué)習(xí)算法，因為他們獲得的用戶數(shù)據(jù)是數(shù)以億計的海量數(shù)據(jù)，這更適合于卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法。

如果樣本數(shù)量較少，則更適合使用SVM、決策樹和其他機(jī)器學(xué)習(xí)算法。如果你有一個大的數(shù)據(jù)集，你可以考慮使用卷積神經(jīng)網(wǎng)絡(luò)和其他深度學(xué)習(xí)算法。

以下是一個圖表，用于說明根據(jù)樣本數(shù)量和數(shù)據(jù)集大小選擇的任何機(jī)器學(xué)習(xí)算法。

如果你認(rèn)為它對你有幫助，你可以多表揚，也可以關(guān)注它。謝謝您

深度神經(jīng)網(wǎng)絡(luò)是否夸張地過擬合了？

這不可能是一樣的。

1. 過度裝配可分為許多情況。一是現(xiàn)在的情況太多了。這種神經(jīng)網(wǎng)絡(luò)能對許多情況給出正確的答案。即使它是過度安裝，你也無法證明它。此外，即使它能工作和排氣，也沒有壞處。

2. 是否過擬合與我們的神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練集有關(guān)。當(dāng)二者的組合過擬合時，它在訓(xùn)練集上運行良好，在驗證集上也會出現(xiàn)問題?，F(xiàn)在有一些方法可以對訓(xùn)練集的數(shù)據(jù)進(jìn)行預(yù)處理、多次輸入和多次訓(xùn)練。

3. 目前，過度擬合的問題是不可避免的。培訓(xùn)本身就是一種適應(yīng)過程。如果未來在數(shù)學(xué)原理或應(yīng)用這方面有質(zhì)的突破，可能有解決的機(jī)會。

如果說神經(jīng)網(wǎng)絡(luò)是一個函數(shù)擬合器的話，那它的輸入是什么？

這不是很明顯嗎？神經(jīng)網(wǎng)絡(luò)是已知網(wǎng)絡(luò)結(jié)構(gòu)（函數(shù)族形式）和大量預(yù)測采樣點，擬合出最佳函數(shù)形式（確定參數(shù)）。

通常，我們將最終模型視為輸入數(shù)據(jù)的函數(shù)，以優(yōu)化函數(shù)輸出。但在訓(xùn)練階段，我們將待定模型作為其參數(shù)的函數(shù)，根據(jù)已知的采樣點來確定參數(shù)。

所以最簡單的想法就是找到模型偏導(dǎo)數(shù)的零點。這就是梯度下降的目標(biāo)，這就是為什么人們喜歡使用卷積網(wǎng)絡(luò)和sigmoid函數(shù)：導(dǎo)數(shù)太容易找到。