在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定elliotsig也很難飽

在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應該需要飽和門來記住或忘記信息。不飽和門會使過去和現(xiàn)在的記憶一直重疊，從而導致記憶混亂

線性激活函數(shù)的缺點是線性函數(shù)，數(shù)字的組合仍然是線性函數(shù)。

由于我們遇到的問題大多是非線性的，比較復雜，如果不使用激活函數(shù)來添加非線性，網(wǎng)絡結(jié)構(gòu)的表達能力就非常有限，相應的效果自然就差了。

卷積神經(jīng)網(wǎng)絡卷積層后一定要跟激活函數(shù)嗎？

有毅力不難思考，有毅力不難思考，有毅力不難堅持！