前饋神經(jīng)網(wǎng)絡、BP神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡的區(qū)別與聯(lián)系？前饋神經(jīng)網(wǎng)絡是一層節(jié)點，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因為數(shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡。BP網(wǎng)絡是最常見的前

前饋神經(jīng)網(wǎng)絡、BP神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡的區(qū)別與聯(lián)系？

前饋神經(jīng)網(wǎng)絡是一層節(jié)點，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因為數(shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡。

BP網(wǎng)絡是最常見的前饋網(wǎng)絡之一。BP體現(xiàn)在運行機制上。數(shù)據(jù)輸入后，逐層向前傳播，然后計算損失函數(shù)，得到損失函數(shù)的殘差，再逐層向后傳播殘差。

卷積神經(jīng)網(wǎng)絡是基于人類視覺的特點，即視覺是從局部到全局的認知，所以并不是所有的人都使用全連接（一般只有1-2個全連接層，甚至最近的研究建議取消CNN的全連接層），而是使用滑動窗口只處理一個部分，這個運算就像一個濾波器，這個運算叫做卷積運算（不是卷積運算）信號處理的卷積運算，當然也可以用卷積運算）。這種網(wǎng)絡稱為卷積神經(jīng)網(wǎng)絡。

目前最流行的網(wǎng)絡有前饋網(wǎng)絡和遞歸網(wǎng)絡，一般都是BP網(wǎng)絡；深度網(wǎng)絡一般采用卷積運算，因此也屬于卷積神經(jīng)網(wǎng)絡。深度學習前的網(wǎng)絡都是連通的，但不是卷積網(wǎng)絡，而是前饋網(wǎng)絡和BP網(wǎng)絡。

神經(jīng)網(wǎng)絡是大數(shù)據(jù)嗎？

神經(jīng)網(wǎng)絡不是大數(shù)據(jù)，神經(jīng)網(wǎng)絡是一種大數(shù)據(jù)處理方法。

自2016年以來，阿爾法犬以4:1奪得人類圍棋冠軍，以神經(jīng)網(wǎng)絡為代表的人工智能開始流行。神經(jīng)網(wǎng)絡（現(xiàn)在一般稱為人工神經(jīng)網(wǎng)絡），它是一種模擬動物神經(jīng)網(wǎng)絡行為特征、分布式并行信息處理算法的數(shù)學模型。這種網(wǎng)絡依賴于系統(tǒng)的復雜性，通過調(diào)整大量內(nèi)部節(jié)點之間的關系，從而達到處理信息的目的。

大數(shù)據(jù)和神經(jīng)網(wǎng)絡（以及其他人工智能）經(jīng)常一起討論，而且它們密切相關。正是因為有大量關于用戶行為的網(wǎng)絡大數(shù)據(jù)，我們可以利用神經(jīng)網(wǎng)絡等方法對大數(shù)據(jù)進行分析，從而模擬人類的行為，使計算機也能識別圖形、識別聲音、分析問題、找到問題的最優(yōu)解等。大數(shù)據(jù)的出現(xiàn)和興起，也帶動了神經(jīng)網(wǎng)絡技術的發(fā)展。為了處理大量的搜索行為數(shù)據(jù)，Google投入了大量的研究人員對人工神經(jīng)網(wǎng)絡進行優(yōu)化以提高效率，最終開發(fā)出alpha狗。阿里巴巴、百度等其他公司也在神經(jīng)網(wǎng)絡等人工智能技術領域投入了大量研究人員。

神經(jīng)網(wǎng)絡和大數(shù)據(jù)可以簡單地分別與人的大腦和所見所聞進行比較。神經(jīng)網(wǎng)絡是一種數(shù)據(jù)處理方法，它往往依賴于計算機程序；大數(shù)據(jù)是大量的客觀數(shù)據(jù)和信息，大數(shù)據(jù)不依賴于計算機程序，而是存儲在硬盤、云硬盤等物理設備中。

卷積神經(jīng)網(wǎng)絡解決了bp算法的梯度彌散問題了么？

從理論上講，不是的

梯度色散的問題很大程度上是由于激活函數(shù)的飽和。由于在反向傳播過程中仍然需要計算激活函數(shù)的導數(shù)，一旦卷積核的輸出落入函數(shù)的飽和區(qū)域，其梯度將變得很小。然而，Hinton教授提出在CNN中使用relu作為激活函數(shù)可以“改善”這個問題。relu的定義決定了它不會在正區(qū)域飽和。

目前，CNN中的梯度色散問題在我近年接觸的論文中很少被討論。可能是因為relu從工程的角度大大改善了這個問題，所以不太關注。但可以肯定的是，目前還沒有文獻證明梯度色散已經(jīng)從理論上得到了解決。

關于在CNN中使用relu和dropout，請參閱Hinton教授的杰作：帶深度卷積神經(jīng)網(wǎng)絡的Imagenet分類。鏈接：http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf