lstm原理及實(shí)現(xiàn) 從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？
從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。（RNN擴(kuò)展，圖像源：colah.github.io文件)上面
從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？
RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。
（RNN擴(kuò)展，圖像源：colah.github.io文件)
上面的展開(kāi)圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實(shí)際上，RNN實(shí)際上主要用于處理序列化數(shù)據(jù)。
基本上，不使用原始RNN，而是使用RNN的變體。
漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。
（一般是sigmoid層）建模輸入、輸出和遺忘。
（圖片來(lái)源：中新網(wǎng)/@左上角的藍(lán)色是輸入門(mén)，右上角的綠色是輸出門(mén)，底部的紅色是遺忘門(mén)。