lstm的激活函數(shù) 在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？
在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定elliotsig也很難飽
在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？
LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定
elliotsig也很難飽和。LSTM應該需要飽和門來記住或忘記信息。不飽和門會使過去和現(xiàn)在的記憶一直重疊，這會導致記憶混亂
rank（）有不連續(xù)的數(shù)字，如按1，2，2，3的值計算的數(shù)字，出現(xiàn)的次數(shù)是1，2，2，4密度例如，數(shù)據值1，2，2，3的個數(shù)是1，2，2，3