從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。（RNN擴(kuò)展，圖像源：colah.github.io文件)上面

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。

（RNN擴(kuò)展，圖像源：colah.github.io文件)

上面的展開圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實際上，RNN實際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來源：中新網(wǎng)/@左上角的藍(lán)色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。

在訓(xùn)練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應(yīng)該需要飽和門來記住或忘記信息。不飽和門會使過去和現(xiàn)在的記憶一直重疊，從而導(dǎo)致記憶障礙