支持向量機和線性判別函數(shù)的區(qū)別？F（x）是一個值為1和-1的函數(shù)。SGN代表標志。如果括號內(nèi)大于0，則取1；如果小于0，則取-1括號內(nèi)的部分是一個線性函數(shù)，滿足兩類訓練數(shù)據(jù)之間的最大距離。具體表達式是

支持向量機和線性判別函數(shù)的區(qū)別？

F（x）是一個值為1和-1的函數(shù)。SGN代表標志。如果括號內(nèi)大于0，則取1；如果小于0，則取-1

括號內(nèi)的部分是一個線性函數(shù)，滿足兩類訓練數(shù)據(jù)之間的最大距離。具體表達式是通過一些優(yōu)化算法得到的

下面畫的B*是線性函數(shù)的常數(shù)項，w*是超平面X的法向量，X-分別是這兩類中所謂的“支持向量”。事實上，SVM不難找到兩種數(shù)據(jù)之間間隔最大的超平面，然后結(jié)合一些數(shù)學工具發(fā)展出一套理論，Vapnik

單層感知器只有線性表達的能力，而多層感知器，加上非線性激活函數(shù)，具有非線性表達能力。

支持向量機的線性核只能用于線性可分樣本，而非線性核具有非線性擬合能力。

事實上，感知器和支持向量機本質(zhì)上只能對線性可分數(shù)據(jù)進行分類。

多層感知器前面的L-1層可視為“特征提取”過程。將線性不可分原始數(shù)據(jù)映射到線性可分特征空間。

支持向量機的非線性核是相同的，相當于將原始數(shù)據(jù)映射到希爾伯特空間。

特征提取的非線性擬合過程可以通過其他方式進行（如深度神經(jīng)網(wǎng)絡(luò)）。

感知器（perceptron）和支持向量機（svm）只能用于線性可分的樣本嗎？

不屬于，神經(jīng)網(wǎng)絡(luò)屬于機器學習中的兩種不同算法。支持向量機的核心是構(gòu)造一個核函數(shù)，將數(shù)據(jù)從低維轉(zhuǎn)化為高維，使其不能低維分解為高維。神經(jīng)網(wǎng)絡(luò)現(xiàn)在一般是指卷積神經(jīng)網(wǎng)絡(luò)，是一種卷積濾波提取圖像、語音等特征的算法。卷積神經(jīng)網(wǎng)絡(luò)的最終分類函數(shù)也可以使用支持向量機。例如，檢測網(wǎng)絡(luò)中的RCNN就是利用CNN提取特征，SVM對目標數(shù)目進行分類。這應(yīng)該是CNN在除分類以外的檢測任務(wù)中的首次成功應(yīng)用。

圖1。RCNN框架

1。支持向量機（SVM）是實現(xiàn)結(jié)構(gòu)風險最小化的一種較好方法。它的機器學習策略是結(jié)構(gòu)風險最小化原則。為了使期望風險最小化，經(jīng)驗風險和置信區(qū)間應(yīng)同時最小化

（1）它是專門為有限樣本情況設(shè)計的學習機，實現(xiàn)了結(jié)構(gòu)風險最小化：在給定數(shù)據(jù)逼近的精度和逼近函數(shù)的復雜度之間尋求折衷，以獲得最佳的泛化能力；（2）最終解決了一個凸二次規(guī)劃問題。從理論上講，它能得到全局最優(yōu)解，解決神經(jīng)網(wǎng)絡(luò)方法無法避免的局部極值問題，通過非線性變換將實際問題轉(zhuǎn)化為高維特征空間，在高維空間構(gòu)造線性決策函數(shù)，實現(xiàn)非線性決策在原始空間中的功能。它巧妙地解決了維數(shù)問題，保證了良好的泛化能力。此外，算法的復雜度與樣本維數(shù)無關(guān)。

目前，支持向量機算法已經(jīng)應(yīng)用于模式識別、回歸估計、概率密度函數(shù)估計等領(lǐng)域，其效率和精度已經(jīng)超過或可與傳統(tǒng)的學習算法相媲美。

主要方法是在高維空間中構(gòu)造線性決策函數(shù)，實現(xiàn)升維后的線性回歸。當采用e-不敏感函數(shù)時，其基礎(chǔ)主要是e-不敏感函數(shù)和核函數(shù)算法。

如果使用擬合的數(shù)學模型來表示多維空間中的曲線，則從e-不敏感函數(shù)獲得的結(jié)果是“e-管道”，包括曲線和訓練點。在所有采樣點中，只有分布在“管壁”上的零件確定管道的位置。這部分訓練樣本稱為支持向量機。

為了適應(yīng)訓練樣本集的非線性，傳統(tǒng)的擬合方法通常在線性方程后增加一個高階項。這種方法確實有效，但可調(diào)參數(shù)的增加增加了過度擬合的風險。支持向量回歸算法利用核函數(shù)來解決這一矛盾。用核函數(shù)代替線性方程中的線性項，可以使原來的線性算法“非線性”，即可以進行非線性回歸。同時，通過引入核函數(shù)來達到“維數(shù)”的目的，可調(diào)參數(shù)的增加過擬合仍然可以控制。