如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？謝謝邀請(qǐng)我。以下是一些經(jīng)驗(yàn)。深度學(xué)習(xí)在幾個(gè)方面很棘手。數(shù)學(xué)和理論不僅能快速引出梯度公式和更新方程的毛團(tuán)，而且深度學(xué)習(xí)模型非常復(fù)雜。TensorFlow開(kāi)發(fā)TensorBoard

如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？

謝謝邀請(qǐng)我。以下是一些經(jīng)驗(yàn)。深度學(xué)習(xí)在幾個(gè)方面很棘手。數(shù)學(xué)和理論不僅能快速引出梯度公式和更新方程的毛團(tuán)，而且深度學(xué)習(xí)模型非常復(fù)雜。TensorFlow開(kāi)發(fā)TensorBoard后，神經(jīng)網(wǎng)絡(luò)的在線可視化和控制訓(xùn)練有了很大的進(jìn)步，幫助開(kāi)發(fā)者診斷無(wú)效的神經(jīng)網(wǎng)絡(luò)層。

從一小步開(kāi)始，最先進(jìn)的深度學(xué)習(xí)架構(gòu)只會(huì)越做越大。作為一個(gè)試圖實(shí)現(xiàn)這些架構(gòu)的程序員，如果你確切地知道你在做什么，這不是一個(gè)問(wèn)題。如果你的知識(shí)不完善，那么事情就會(huì)出錯(cuò)。無(wú)論是 it'他試圖模仿別人。;結(jié)果或超越已經(jīng)做的事情。特別是在你剛開(kāi)始一個(gè)新的深度學(xué)習(xí)項(xiàng)目的時(shí)候，我發(fā)現(xiàn)了兩個(gè)特別有用的措施:用虛假數(shù)據(jù)來(lái)驗(yàn)證你的數(shù)據(jù)模型，在構(gòu)建架構(gòu)的時(shí)候一步一步來(lái)做。

偽造你的數(shù)據(jù)，得到你想要的結(jié)果。我的第一個(gè)建議主要出現(xiàn)在 "正如我所說(shuō)，從最簡(jiǎn)單的架構(gòu)開(kāi)始，并確定您的數(shù)據(jù)表示。對(duì)于問(wèn)題的某些版本，實(shí)現(xiàn)一個(gè)小的全連接前饋網(wǎng)絡(luò)(即使只是邏輯回歸)。創(chuàng)建一個(gè)模擬數(shù)據(jù)流，其形狀和尺寸與您通過(guò)網(wǎng)絡(luò)推送的數(shù)據(jù)相同。嘗試輸入輸出關(guān)系確定且容易學(xué)習(xí)的數(shù)據(jù)，和輸入輸出沒(méi)有關(guān)系的數(shù)據(jù)，比較算法的性能:

這些示例如下所示。你覺(jué)得哪些關(guān)系比較容易學(xué)？

這種方法叫做單元測(cè)試。假數(shù)據(jù)可以檢驗(yàn)?zāi)阕罱K實(shí)現(xiàn)的算法的魯棒性。

當(dāng)我們構(gòu)建一個(gè)九層的RNN時(shí)，引用是在Torch中實(shí)現(xiàn)的。我和我的同事最初開(kāi)始在Th

簡(jiǎn)述神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用規(guī)則？

神經(jīng)網(wǎng)絡(luò)的權(quán)值是通過(guò)訓(xùn)練網(wǎng)絡(luò)獲得的。如果你使用MATLAB，唐 不要自己設(shè)置。newff稍后會(huì)自動(dòng)賦值。也可以手動(dòng):net。IW { }；{}。一般來(lái)說(shuō)，輸入是歸一化的，所以W和B是0-1的隨機(jī)數(shù)。確定神經(jīng)網(wǎng)絡(luò)權(quán)值的目的是使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中學(xué)習(xí)到有用的信息，也就是說(shuō)參數(shù)梯度不應(yīng)為0。

參數(shù)初始化必須滿足兩個(gè)必要條件:

1.在每個(gè)激活層中不會(huì)有飽和現(xiàn)象。例如，對(duì)于sigmoid激活函數(shù)，初始化值不能太大或太小，導(dǎo)致落入其飽和區(qū)。

2.每個(gè)激活值不為零。如果激活層的輸出為零，即下一個(gè)卷積層的輸入為零，那么這個(gè)卷積層將權(quán)重微分為零，從而導(dǎo)致梯度為零。