前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因為數(shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是最常見的前

前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？

前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因為數(shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。

BP網(wǎng)絡(luò)是最常見的前饋網(wǎng)絡(luò)之一。BP體現(xiàn)在運行機制上。數(shù)據(jù)輸入后，逐層向前傳播，然后計算損失函數(shù)，得到損失函數(shù)的殘差，再逐層向后傳播殘差。

卷積神經(jīng)網(wǎng)絡(luò)是基于人類視覺的特點，即視覺是從局部到全局的認知，所以并不是所有的人都使用全連接（一般只有1-2個全連接層，甚至最近的研究建議取消CNN的全連接層），而是使用滑動窗口只處理一個部分，這個運算就像一個濾波器，這個運算叫做卷積運算（不是卷積運算）信號處理的卷積運算，當然也可以用卷積運算）。這種網(wǎng)絡(luò)稱為卷積神經(jīng)網(wǎng)絡(luò)。

目前最流行的網(wǎng)絡(luò)有前饋網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)，一般都是BP網(wǎng)絡(luò)；深度網(wǎng)絡(luò)一般采用卷積運算，因此也屬于卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)前的網(wǎng)絡(luò)都是連通的，但不是卷積網(wǎng)絡(luò)，而是前饋網(wǎng)絡(luò)和BP網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)和感知器有什么區(qū)別？

多層感知器是指結(jié)構(gòu)，BP是指學(xué)習(xí)算法。感知器模型非常簡單，即將神經(jīng)元上的多個輸入之和帶入輸出函數(shù)減去閾值。多層感知器是由多層感知器模型組成的前向網(wǎng)絡(luò)。BP是指BP算法，BP網(wǎng)絡(luò)是指具有多層感知器結(jié)構(gòu)和BP算法的網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是一種多層感知器網(wǎng)絡(luò)，但BP網(wǎng)絡(luò)突出算法，多層感知器突出結(jié)構(gòu)。

RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)有什么區(qū)別？

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率是固定的，因此BP神經(jīng)網(wǎng)絡(luò)的收斂速度慢，需要較長的訓(xùn)練時間。對于一些復(fù)雜的問題，BP算法的訓(xùn)練時間可能很長，這主要是由于學(xué)習(xí)速度慢。RBF神經(jīng)網(wǎng)絡(luò)是一種高效的前饋網(wǎng)絡(luò)，具有其它前饋網(wǎng)絡(luò)所不具備的最佳逼近性能和全局最優(yōu)特性，具有結(jié)構(gòu)簡單、訓(xùn)練速度快等優(yōu)點。

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡(luò)）顧名思義，就是把以前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。

（RNN擴展，圖像源：colah.github.io文件)

上面的展開圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實際上，RNN實際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來源：中新網(wǎng)/@左上角的藍色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。