如何評(píng)價(jià)「神經(jīng)網(wǎng)絡(luò)本質(zhì)不過(guò)是初中生都會(huì)的復(fù)合函數(shù)」？如果說(shuō)本質(zhì)是很簡(jiǎn)單的事情，至少聽(tīng)起來(lái)很簡(jiǎn)單。計(jì)算機(jī)的本質(zhì)只是門(mén)電路的開(kāi)關(guān)，程序的本質(zhì)只是01組合，火箭發(fā)射的本質(zhì)只是軌道擬合，生命體的本質(zhì)只是一堆蛋

如何評(píng)價(jià)「神經(jīng)網(wǎng)絡(luò)本質(zhì)不過(guò)是初中生都會(huì)的復(fù)合函數(shù)」？

如果說(shuō)本質(zhì)是很簡(jiǎn)單的事情，至少聽(tīng)起來(lái)很簡(jiǎn)單。

計(jì)算機(jī)的本質(zhì)只是門(mén)電路的開(kāi)關(guān)，程序的本質(zhì)只是01組合，火箭發(fā)射的本質(zhì)只是軌道擬合，生命體的本質(zhì)只是一堆蛋白質(zhì)，思維的本質(zhì)只是電信號(hào)，等等。如果追根溯源，人的本質(zhì)就像一堆原子。

許多東西無(wú)法分解為可見(jiàn)，因?yàn)樗鼈兊膬r(jià)值就在組合的這一部分。神經(jīng)網(wǎng)絡(luò)的本質(zhì)確實(shí)是一個(gè)復(fù)合函數(shù)，因?yàn)榧訖?quán)是乘法，偏移是加法，激活是函數(shù)運(yùn)算。這些都很簡(jiǎn)單。即使外部激活函數(shù)稍微復(fù)雜一些，它仍然可以被寫(xiě)出來(lái)。但是，需要提出神經(jīng)網(wǎng)絡(luò)的反向傳播，否則神經(jīng)網(wǎng)絡(luò)無(wú)法優(yōu)化；全連通網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)過(guò)大，無(wú)法增加深度，因此需要提出CNN、RESNET、dropout、pool，并在此基礎(chǔ)上實(shí)現(xiàn)它們的反向傳播算法，這些理論是經(jīng)過(guò)嚴(yán)格的數(shù)據(jù)邏輯驗(yàn)證后提出的。

當(dāng)然，任何人都可以做復(fù)合功能，但他們做不到。最后兩個(gè)月的課足夠?qū)W習(xí)了，但是學(xué)習(xí)這些東西能提出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)嗎？你學(xué)完高等數(shù)學(xué)后能寫(xiě)一篇約洛嗎？不要老是談?wù)摼A。只有真正理解的人才有資格談?wù)摫举|(zhì)。人們甚至不知道神經(jīng)網(wǎng)絡(luò)的本質(zhì)。聽(tīng)起來(lái)像是土木科學(xué)說(shuō)地球是平的。

神經(jīng)網(wǎng)絡(luò)relu怎么反向求導(dǎo)？

Relu是神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)。

在神經(jīng)網(wǎng)絡(luò)從輸入到輸出的正向傳播中，激活函數(shù)是不可避免的。因此，在反向傳播調(diào)整過(guò)程中，還需要根據(jù)鏈導(dǎo)數(shù)規(guī)則調(diào)整relu的偏差或梯度。

在神經(jīng)網(wǎng)絡(luò)中，每?jī)蓪由窠?jīng)元的權(quán)重根據(jù)梯度進(jìn)行調(diào)整。梯度調(diào)整的幅度和方向取決于激活函數(shù)后前一層神經(jīng)元的輸入值a和激活函數(shù)前后一層神經(jīng)元輸出值的偏差。relu的逆導(dǎo)數(shù)是神經(jīng)元輸出的偏差（在進(jìn)入激活函數(shù)之前）。relu的偏差請(qǐng)參考我的文章《BP反向傳播算法的思考與直觀理解——卷積小白的隨機(jī)世界》

例如，當(dāng)L1層的偏差為m時(shí)，則relu后的L層的偏差為m*Wij。如果此時(shí)，relu之前的l層的輸出為Zi。如果Zi小于0。那么，L層神經(jīng)元通過(guò)relu前的偏差為0；如果Zi大于0。那么，relu之前的L層的偏差是m*Wij。