前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點(diǎn)，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因?yàn)閿?shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是最常見的前

前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？

前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點(diǎn)，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒有聯(lián)系，因?yàn)閿?shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。

BP網(wǎng)絡(luò)是最常見的前饋網(wǎng)絡(luò)之一。BP體現(xiàn)在運(yùn)行機(jī)制上。數(shù)據(jù)輸入后，逐層向前傳播，然后計(jì)算損失函數(shù)，得到損失函數(shù)的殘差，再逐層向后傳播殘差。

卷積神經(jīng)網(wǎng)絡(luò)是基于人類視覺的特點(diǎn)，即視覺是從局部到全局的認(rèn)知，所以并不是所有的人都使用全連接（一般只有1-2個(gè)全連接層，甚至最近的研究建議取消CNN的全連接層），而是使用滑動(dòng)窗口只處理一個(gè)部分，這個(gè)運(yùn)算就像一個(gè)濾波器，這個(gè)運(yùn)算叫做卷積運(yùn)算（不是卷積運(yùn)算）信號(hào)處理的卷積運(yùn)算，當(dāng)然也可以用卷積運(yùn)算）。這種網(wǎng)絡(luò)稱為卷積神經(jīng)網(wǎng)絡(luò)。

目前最流行的網(wǎng)絡(luò)有前饋網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)，一般都是BP網(wǎng)絡(luò)；深度網(wǎng)絡(luò)一般采用卷積運(yùn)算，因此也屬于卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)前的網(wǎng)絡(luò)都是連通的，但不是卷積網(wǎng)絡(luò)，而是前饋網(wǎng)絡(luò)和BP網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)解決了bp算法的梯度彌散問題了么？

從理論上講，不是的

梯度色散的問題很大程度上是由于激活函數(shù)的飽和。由于在反向傳播過程中仍然需要計(jì)算激活函數(shù)的導(dǎo)數(shù)，一旦卷積核的輸出落入函數(shù)的飽和區(qū)域，其梯度將變得很小。然而，Hinton教授提出在CNN中使用relu作為激活函數(shù)可以“改善”這個(gè)問題。relu的定義決定了它不會(huì)在正區(qū)域飽和。

目前，CNN中的梯度色散問題在我近年接觸的論文中很少被討論。可能是因?yàn)閞elu從工程的角度大大改善了這個(gè)問題，所以不太關(guān)注。但可以肯定的是，目前還沒有文獻(xiàn)證明梯度色散已經(jīng)從理論上得到了解決。

關(guān)于在CNN中使用relu和dropout，請(qǐng)參閱Hinton教授的杰作：帶深度卷積神經(jīng)網(wǎng)絡(luò)的Imagenet分類。鏈接：http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf

神經(jīng)網(wǎng)絡(luò)是大數(shù)據(jù)嗎？

神經(jīng)網(wǎng)絡(luò)不是大數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)是一種大數(shù)據(jù)處理方法。

自2016年以來，阿爾法犬以4:1奪得人類圍棋冠軍，以神經(jīng)網(wǎng)絡(luò)為代表的人工智能開始流行。神經(jīng)網(wǎng)絡(luò)（現(xiàn)在一般稱為人工神經(jīng)網(wǎng)絡(luò)），它是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征、分布式并行信息處理算法的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依賴于系統(tǒng)的復(fù)雜性，通過調(diào)整大量內(nèi)部節(jié)點(diǎn)之間的關(guān)系，從而達(dá)到處理信息的目的。

大數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)（以及其他人工智能）經(jīng)常一起討論，而且它們密切相關(guān)。正是因?yàn)橛写罅筷P(guān)于用戶行為的網(wǎng)絡(luò)大數(shù)據(jù)，我們可以利用神經(jīng)網(wǎng)絡(luò)等方法對(duì)大數(shù)據(jù)進(jìn)行分析，從而模擬人類的行為，使計(jì)算機(jī)也能識(shí)別圖形、識(shí)別聲音、分析問題、找到問題的最優(yōu)解等。大數(shù)據(jù)的出現(xiàn)和興起，也帶動(dòng)了神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展。為了處理大量的搜索行為數(shù)據(jù)，Google投入了大量的研究人員對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化以提高效率，最終開發(fā)出alpha狗。阿里巴巴、百度等其他公司也在神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)領(lǐng)域投入了大量研究人員。

神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)可以簡單地分別與人的大腦和所見所聞進(jìn)行比較。神經(jīng)網(wǎng)絡(luò)是一種數(shù)據(jù)處理方法，它往往依賴于計(jì)算機(jī)程序；大數(shù)據(jù)是大量的客觀數(shù)據(jù)和信息，大數(shù)據(jù)不依賴于計(jì)算機(jī)程序，而是存儲(chǔ)在硬盤、云硬盤等物理設(shè)備中。

神經(jīng)網(wǎng)絡(luò)的BP算法？

是的，必須對(duì)所有樣品進(jìn)行計(jì)數(shù)。根據(jù)排序結(jié)果提取樣本，代入BP算法進(jìn)行權(quán)值調(diào)整。還有一些算法是隨機(jī)的。每個(gè)樣本的順序是不同的，但所有樣本仍然需要參與。唯一可能的區(qū)別是，在標(biāo)準(zhǔn)的BP算法中，每個(gè)輸入樣本必須返回誤差并調(diào)整權(quán)重。這種對(duì)每個(gè)樣本進(jìn)行輪換訓(xùn)練的方法稱為“單樣本訓(xùn)練”。由于單樣本訓(xùn)練遵循“部門主義”的原則，只對(duì)每個(gè)樣本產(chǎn)生的誤差進(jìn)行調(diào)整，難免顧此失彼，增加了訓(xùn)練次數(shù)，導(dǎo)致收斂速度慢。因此，有另一種方法，即在輸入所有樣本后計(jì)算網(wǎng)絡(luò)的總誤差，然后根據(jù)總誤差調(diào)整權(quán)值。這種累積誤差的批處理方法稱為“批訓(xùn)練”或“周期訓(xùn)練”。當(dāng)樣本數(shù)較大時(shí)，分批訓(xùn)練的收斂速度比單樣本訓(xùn)練的收斂速度快。