Logistic回歸模型的參數(shù)估計為什么不能采用最小二乘法？首先，我們確實可以使用普通最小二乘法，也就是OLS，來做y=0/1的回歸。但我們通常不使用它。為什么？一般來說，當y為0/1時，我們要得到y(tǒng)

Logistic回歸模型的參數(shù)估計為什么不能采用最小二乘法？

首先，我們確實可以使用普通最小二乘法，也就是OLS，來做y=0/1的回歸。但我們通常不使用它。為什么？一般來說，當y為0/1時，我們要得到y(tǒng)=1的概率，并且概率不能小于0或大于1。然而，使用OLS，很容易得到小于0或大于1的概率預測值。這是第一個原因。其次，從稍微定量的角度來看，OLS的關鍵假設是誤差項u與x無關，但當y=0/1時，我們可以想象這個假設是站不住腳的。第三個原因是不僅u與x有關，而且u的方差也與x有關，因此u具有異方差性，這違反了Blue的假設。第四個原因是，從線性投影的角度來看，OLS要求y和其他向量在一個向量空間中，但在像連續(xù)X這樣的n維向量空間中，只有0/1y不能存在，所以如果y只能取0/1的兩個值，問題就會跳出線性模型的范圍，變成一個非線性模型。當然，由于這個模型比較簡單，所以仍然是在“廣義線性模型”的框架內。此外，雖然OLS是不合適的，但并不意味著“最小二乘法”不能使用。一般來說，“最小二乘法”不僅包括普通最小二乘法（OLS），還包括非線性最小二乘法（NLS）、加權最小二乘法（WLS）等，我覺得有些網(wǎng)站的答案已經(jīng)非常詳細了，所以我在這里附上一個鏈接（僅供參考）https://www.zhihu.com/question/23817253/answer/85072173

最小二乘法ols的得出來的值為什么是平均值？

以單變量線性回歸為例，OLS法計算的β0和β1滿足兩個條件：R 1回歸線通過（x均值，y均值），r2β1等于X和Y的協(xié)方差除以X的方差上述方差和協(xié)方差是樣本的參數(shù)，而不是總體的參數(shù)。也就是說，隨機抽樣會導致β1的波動，所以即使你手上的參數(shù)β1不等于0，你也不容易判斷出總體的β1不等于0。普通最小二乘估計就是求參數(shù)的估計值，使偏差平方和最小。各平方項的權重相同，這是常用的最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關的條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而，在異方差條件下，每一項在平方和中的地位是不一樣的。誤差項方差較大的項在殘差平方和中取較大值，起較大作用。因此，一般最小二乘估計的回歸線會拉到方差大的項目上，方差大的項目擬合度較好，方差小的項目擬合度較差。OLS仍然是無偏估計，但它不再是最小方差線性無偏估計。所以它是：給較大的殘差平方賦予較小的權重，給較小的殘差平方賦予較大的權重。通過這種方法，對殘差提供的信息的重要性進行校正，提高了參數(shù)估計的精度。

加權最小二乘法如下