神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問(wèn)題？是怎樣的？反向傳播算法是一個(gè)深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來(lái)修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差

神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問(wèn)題？是怎樣的？

反向傳播算法是一個(gè)深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來(lái)修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差的目的，當(dāng)經(jīng)過(guò)一輪反向傳播后，正誤差很小，達(dá)到可接受的水平時(shí)，神經(jīng)網(wǎng)絡(luò)才穩(wěn)定訓(xùn)練。

如果神經(jīng)網(wǎng)絡(luò)中，每個(gè)層內(nèi)部的神經(jīng)元之間有連接，這時(shí)候的前向和反向傳播應(yīng)該怎么計(jì)算？

這是秩序問(wèn)題。如果兩個(gè)節(jié)點(diǎn)相互傳遞，傳遞的順序是什么？是固定順序、隨機(jī)順序還是同時(shí)順序？事實(shí)上，這種結(jié)構(gòu)已經(jīng)存在于CNN的工作和消息傳遞中。CNN提取局部特征后，通過(guò)消息傳遞對(duì)特征進(jìn)行進(jìn)一步的過(guò)濾，同時(shí)對(duì)特征進(jìn)行過(guò)濾。我們同時(shí)用當(dāng)前值更新下一步。實(shí)際系統(tǒng)只能選擇一個(gè)特定的順序，很可能是同時(shí)進(jìn)行的。