為什么要使用relu激活函數(shù)？增加了網(wǎng)絡的非線性能力，以適應更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導數(shù)。在一定程度上，這意味著右端

為什么要使用relu激活函數(shù)？

增加了網(wǎng)絡的非線性能力，以適應更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導數(shù)。在一定程度上，這意味著右端不會接近飽和。當我們計算導數(shù)時，導數(shù)不會為零，所以梯度不會消失。但是左端問題仍然存在，如果我們掉進去梯度就會消失。所以有很多改進的relu。

卷積神經(jīng)網(wǎng)絡卷積層后一定要跟激活函數(shù)嗎？

線性激活函數(shù)的缺點是線性函數(shù)的組合仍然是線性的。

由于我們遇到的問題大多是非線性的，比較復雜，如果不使用激活函數(shù)來添加非線性，網(wǎng)絡結構的表達能力就非常有限，相應的效果自然就差了。

在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有sigmoid都是門，它們的輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應該需要飽和門來記住或忘記信息。不飽和的閘門會使過去和現(xiàn)在的記憶一直重疊，這會造成記憶障礙

思考和毅力并不難，但堅持是很難的！