softmax交叉熵損失函數(shù) 深度學(xué)習(xí)難嗎?
深度學(xué)習(xí)難嗎?想起來有毅力不難,想起來不堅持就難請問神經(jīng)網(wǎng)絡(luò)有多個輸出的回歸問題,損失函數(shù)如何定義比較合理?在我看來,多重輸出和損失函數(shù)的類型選擇沒有直接關(guān)系。一般來說,使用交叉熵是沒有問題的,即使是
深度學(xué)習(xí)難嗎?
想起來有毅力不難,想起來不堅持就難
請問神經(jīng)網(wǎng)絡(luò)有多個輸出的回歸問題,損失函數(shù)如何定義比較合理?
在我看來,多重輸出和損失函數(shù)的類型選擇沒有直接關(guān)系。一般來說,使用交叉熵是沒有問題的,即使是最小均方誤差也不會產(chǎn)生顯著的影響。但是,最好添加一個帶有范數(shù)的正則化因子(計算量較少)。但是,輸出量有多大是影響算法收斂性的關(guān)鍵因素,因為如果輸出量太大,比如一千多,需要合并的話,那么可以試試分層softmax。有關(guān)代碼,請參閱word2vec。希望對你有幫助