深度學習中的梯度消失和梯度爆炸是什么？有哪些方法可以解決？梯度消失的根源-深層神經(jīng)網(wǎng)絡(luò)和反向傳播。目前，神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法都是基于bp算法的思想，即根據(jù)損失函數(shù)計算的誤差，采用梯度bp算法來指導深度網(wǎng)

深度學習中的梯度消失和梯度爆炸是什么？有哪些方法可以解決？

梯度消失的根源-深層神經(jīng)網(wǎng)絡(luò)和反向傳播。目前，神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法都是基于bp算法的思想，即根據(jù)損失函數(shù)計算的誤差，采用梯度bp算法來指導深度網(wǎng)絡(luò)權(quán)值的更新和優(yōu)化。

梯度消失和梯度爆炸。在兩種情況下，梯度消失經(jīng)常發(fā)生，一種是在深網(wǎng)絡(luò)中，另一種是使用不適當?shù)膿p失函數(shù)，如sigmoid。梯度爆炸通常發(fā)生在深度網(wǎng)絡(luò)初始值和權(quán)重過大時。神經(jīng)網(wǎng)絡(luò)的反向傳播是將函數(shù)的偏導數(shù)逐層相乘。因此，當神經(jīng)網(wǎng)絡(luò)的層很深時，最后一層的偏差會因為乘以許多小于1的偏導數(shù)而變得越來越小，最后趨于0，導致淺層的權(quán)值不更新，即梯度消失。由于梯度爆炸的初始權(quán)值過大，前一層的變化比后一層快，導致權(quán)值增加和溢出，導致Nan值的產(chǎn)生。

使用sigmoid激活函數(shù)時，梯度消失問題更常見，而梯度爆炸問題只發(fā)生在非常窄的范圍內(nèi)。

解決梯度消失問題的方法：添加BN層、使用不同的激活函數(shù)（relu）、使用剩余結(jié)構(gòu)、使用LSTM網(wǎng)絡(luò)結(jié)構(gòu)等

解決梯度爆炸問題的方法：添加BN層、使用不同的激活函數(shù)、梯度剪切（限制梯度范圍），權(quán)重正則化，使用LSTM網(wǎng)絡(luò)，重新設(shè)計網(wǎng)絡(luò)模型（減少層，學習）率，批量大?。?/p>

歡迎討論

人腦是怎么防止梯度消失和梯度爆炸的？

大腦中有近900億個神經(jīng)元。如此龐大的網(wǎng)絡(luò)如何防止梯度消失和梯度爆炸？我認為，因為大腦不能一次激活所有的神經(jīng)元，所以它把結(jié)果儲存在遠離大腦的地方。

人腦是如何工作的？

你給大腦一個圖像，同時激活整個大腦嗎？顯然不是。大腦被分割了。然而，在遙遠的地方存儲信息只是人腦算法的一小部分，這與動物和人類驚人的識別能力無關(guān)。我認為更多的是關(guān)于短期記憶的儲存（在它變成長期記憶之前）。

現(xiàn)在人們普遍認為人腦沒有DNN這樣的梯度返回機制。。。對生物學稍有了解就會發(fā)現(xiàn)神經(jīng)元的傳遞是單向的。但是我們能有兩個神經(jīng)元，一個前饋一個反饋嗎？目前的研究還沒有發(fā)現(xiàn)。。。一般認為這一環(huán)節(jié)是一個循環(huán)結(jié)構(gòu)（RNN）。其次，新生動物的比率可能不需要學習掌握很多基本的信息處理能力。例如，牛、羊和馬生來就是要走路的。結(jié)果表明，它們的基因是預先編程的，具有一些基本的能力，如行走、運動和視覺，這是我們通過反向傳播訓練模型實現(xiàn)的。人類出生的原因看不清楚?，F(xiàn)有的解釋是，人類在出生時并沒有完全發(fā)育，否則嬰兒的頭太大，無法順利分娩。然而，大腦中肯定有一種機制來返回錯誤并改變突觸重量。

是否存在通用的神經(jīng)網(wǎng)絡(luò)模型，可以處理圖像，語音以及NLP？

對于目前的深度學習模型，雖然深度學習的目標之一是設(shè)計能夠處理各種任務的算法，但是深度學習的應用還需要一定的專業(yè)化，目前還沒有通用的神經(jīng)網(wǎng)絡(luò)處理模型。然而，每一種模式也在相互學習、相互融合、共同提高。例如，一些創(chuàng)新可以同時改進卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，如批量標準化和關(guān)注度。一般模型需要在將來提出。

圖像和視頻處理，計算機視覺，最流行的是CNN，卷積神經(jīng)網(wǎng)絡(luò)，它的變形和發(fā)展，CNN適合處理空間數(shù)據(jù)，廣泛應用于計算機視覺領(lǐng)域。例如，alexnet、vggnet、googlenet、RESNET等都有自己的特點。將上述模型應用于圖像分類識別中。在圖像分割、目標檢測等方面，提出了更有針對性的模型，并得到了廣泛的應用。

語音處理，2012年之前，最先進的語音識別系統(tǒng)是隱馬爾可夫模型（HMM）和高斯混合模型（GMM）的結(jié)合。目前最流行的是深度學習RNN遞歸神經(jīng)網(wǎng)絡(luò)，其長、短期記憶網(wǎng)絡(luò)LSTM、Gru、雙向RNN、層次RNN等。

除了傳統(tǒng)的自然語言處理方法外，目前的自然語言處理深度學習模型也經(jīng)歷了幾個發(fā)展階段，如基于CNN的模型、基于RNN的模型、基于注意的模型、基于變壓器的模型等。不同的任務場景有不同的模型和策略來解決一些問題。

王者榮耀S14上單英雄梯度排行公布，達摩、花木蘭墊底，你怎么看？

感謝收看。欲知更多關(guān)于王者榮耀的信息，請關(guān)注王大哥。如果答案有幫助，請關(guān)注小編。如果您有不同意見，請在評論區(qū)留言。祝大家新年快樂，豬年快樂！