多層感知器，為什么能實(shí)現(xiàn)非線性？由于增加了激活函數(shù)，如果激活函數(shù)是非線性的，則可以實(shí)現(xiàn)非線性。這個(gè)原則很簡(jiǎn)單。你可以試著用非線性函數(shù)來(lái)設(shè)置一個(gè)線性函數(shù)來(lái)運(yùn)算，結(jié)果一定是非線性的。然而，多層感知器網(wǎng)絡(luò)不

多層感知器，為什么能實(shí)現(xiàn)非線性？

由于增加了激活函數(shù)，如果激活函數(shù)是非線性的，則可以實(shí)現(xiàn)非線性。這個(gè)原則很簡(jiǎn)單。你可以試著用非線性函數(shù)來(lái)設(shè)置一個(gè)線性函數(shù)來(lái)運(yùn)算，結(jié)果一定是非線性的。

然而，多層感知器網(wǎng)絡(luò)不一定具有激活函數(shù)，并且激活函數(shù)不一定是非線性的。該方法可人為設(shè)定，僅利用非線性激活函數(shù)加隨機(jī)權(quán)初值，是理論和實(shí)踐驗(yàn)證的最佳方法。

感知器（perceptron）和支持向量機(jī)（svm）只能用于線性可分的樣本嗎？

單層感知器僅具有線性表達(dá)能力，而多層感知器結(jié)合非線性激活函數(shù)，具有非線性表達(dá)能力。

支持向量機(jī)的線性核只能用于線性可分樣本，而非線性核具有非線性擬合能力。

事實(shí)上，感知器和支持向量機(jī)本質(zhì)上只能對(duì)線性可分?jǐn)?shù)據(jù)進(jìn)行分類(lèi)。

多層感知器前面的L-1層可視為“特征提取”過(guò)程。將線性不可分原始數(shù)據(jù)映射到線性可分特征空間。

支持向量機(jī)的非線性核是相同的，相當(dāng)于將原始數(shù)據(jù)映射到希爾伯特空間。

特征提取的非線性擬合過(guò)程可以通過(guò)其他方式進(jìn)行（如深度神經(jīng)網(wǎng)絡(luò)）。