為什么要使用relu激活函數(shù)？增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過(guò)程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端

為什么要使用relu激活函數(shù)？

增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過(guò)程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端不會(huì)接近飽和。當(dāng)我們計(jì)算導(dǎo)數(shù)時(shí)，導(dǎo)數(shù)不會(huì)為零，所以梯度不會(huì)消失。但是左端問(wèn)題仍然存在，如果我們掉進(jìn)去梯度就會(huì)消失。所以有很多改進(jìn)的relu。

卷積神經(jīng)網(wǎng)絡(luò)卷積層后一定要跟激活函數(shù)嗎？

線性激活函數(shù)的缺點(diǎn)是線性函數(shù)的組合仍然是線性的。

由于我們遇到的問(wèn)題大多是非線性的，比較復(fù)雜，如果不使用激活函數(shù)來(lái)添加非線性，網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力就非常有限，相應(yīng)的效果自然就差了。

在訓(xùn)練LSTM的時(shí)候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有sigmoid都是門(mén)，它們的輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應(yīng)該需要飽和門(mén)來(lái)記住或忘記信息。不飽和的閘門(mén)會(huì)使過(guò)去和現(xiàn)在的記憶一直重疊，這會(huì)造成記憶障礙

思考和毅力并不難，但堅(jiān)持是很難的！