在進(jìn)行線性回歸時(shí)，為什么最小二乘法是最優(yōu)方法？對(duì)于線性回歸，無(wú)論用LSE(最小二乘估計(jì))還是MLE(極大似然估計(jì))，都是基于不同的假設(shè)而已，LSE是直接假設(shè)object function，而MLE假設(shè)

在進(jìn)行線性回歸時(shí)，為什么最小二乘法是最優(yōu)方法？

對(duì)于線性回歸，無(wú)論用LSE(最小二乘估計(jì))還是MLE(極大似然估計(jì))，都是基于不同的假設(shè)而已，LSE是直接假設(shè)object function，而MLE假設(shè)的是distribution，這里在gauss noise下，他們恰好formula相同而已。

什么是最小二乘法原理和一元線性回歸？

最小二乘法是一種線性回歸的方法

所謂線性回歸

其實(shí)就是在平面直角坐標(biāo)系里有一系列的點(diǎn)

然后模擬一條直線

讓這條直線盡可能地與這些點(diǎn)契合

得出直線方程y=αx β 即為線性回歸方程

而所謂最小二乘

就是假設(shè)回歸直線為y=αx β

則對(duì)于平面上的每個(gè)點(diǎn)An的坐標(biāo)(xk，yk)

將xk代入回歸方程 可以求出一個(gè)yk"

另δk=yk"-yk 就是回歸直線上的點(diǎn) 和 實(shí)際點(diǎn)的偏差

這樣對(duì)于所有的點(diǎn)An都會(huì)有一個(gè)偏差δn與之對(duì)應(yīng)

我們所要做出的回歸直線 要盡可能地與平面上的點(diǎn)契合

那么就是要盡量讓這些偏差盡可能地小

但是由于有些點(diǎn)在直線上方 有些點(diǎn)在直線下方

則求出的δ有正有負(fù) 所以不能夠直接相加

所以我們就想出一個(gè)辦法 將δ平方后確保為正 然后相加

這樣令所有的δ的平方和盡可能小 得到的直線就是最小二乘法求出的最優(yōu)回歸直線

由于直線有兩個(gè)未知數(shù)α和β

所以求最小的方法就是對(duì)α和β分別求偏導(dǎo)數(shù) 令兩個(gè)偏導(dǎo)數(shù)都為0

求出α和β 對(duì)應(yīng)的直線方程y=αx β 就是最小二乘法求出的最優(yōu)回歸直線方程

總的來(lái)說(shuō) 所謂最小二乘

二乘 就是要對(duì)每個(gè)點(diǎn)對(duì)于直線的偏差δ進(jìn)行平方保正

最小 就是讓每個(gè)點(diǎn)對(duì)于直線的偏差的平方和最小

不知道這樣說(shuō)能否理解

簡(jiǎn)述用加權(quán)最小二乘法消除一元線性回歸中的異方差的思想和方法？

普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使離差平方和達(dá)極小。其中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無(wú)偏估計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)的方差大的項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由OLS求出的仍然是的無(wú)偏估計(jì)，但不再是最小方差線性無(wú)偏估計(jì)。所以就是：對(duì)較大的殘差平方賦予較小的權(quán)數(shù)，對(duì)較小的殘差平方賦予較大的權(quán)數(shù)。這樣對(duì)殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計(jì)的精度。

加權(quán)最小二乘法的方法：

最小二乘法求線性回歸方程中的系數(shù)a,b怎么求？

用最小二乘法求回歸直線方程中的a，b有下面的公式：

最小二乘法：總離差不能用n個(gè)離差之和來(lái)表示，通常是用離差的平方和，即作為總離差，并使之達(dá)到最小，這樣回歸直線就是所有直線中Q取最小值的那一條，這種使“離差平方和最小”的方法，叫做最小二乘法：

由于絕對(duì)值使得計(jì)算不變，在實(shí)際應(yīng)用中人們更喜歡用：Q=（y1-bx1-a）2 （y2-bx-a2） 。。。 （yn-bxn-a）2

這樣，問(wèn)題就歸結(jié)于：當(dāng)a，b取什么值時(shí)Q最小，即到點(diǎn)直線y=bx a的“整體距離”最小。