機(jī)器學(xué)習(xí)的嶺回歸除了正規(guī)方程還可以用梯度下降求解嗎？首先，我可以肯定地告訴你！但也許問(wèn)題會(huì)出現(xiàn)。在機(jī)器學(xué)習(xí)算法中，很多算法采用梯度下降法。梯度下降法似乎是機(jī)器學(xué)習(xí)算法中一種通用的優(yōu)化算法。為什么不用呢

機(jī)器學(xué)習(xí)的嶺回歸除了正規(guī)方程還可以用梯度下降求解嗎？

首先，我可以肯定地告訴你！但也許問(wèn)題會(huì)出現(xiàn)。在機(jī)器學(xué)習(xí)算法中，很多算法采用梯度下降法。梯度下降法似乎是機(jī)器學(xué)習(xí)算法中一種通用的優(yōu)化算法。為什么不用呢？

其實(shí)正是因?yàn)樘荻认陆邓惴ㄊ且环N通用的優(yōu)化算法，所以它有自己的缺點(diǎn)，否則就沒(méi)有其他算法存在的理由。那么梯度下降算法的缺點(diǎn)是什么呢？也就是說(shuō)，它的效率相對(duì)較低，求解速度相對(duì)較慢。其求解速度和收斂性取決于步長(zhǎng)參數(shù)的合理設(shè)計(jì)。如果步長(zhǎng)太小，算法需要迭代太多次才能收斂；如果步長(zhǎng)太大，算法可能無(wú)法在最優(yōu)解附近收斂。

因此，一般選擇梯度下降作為機(jī)器學(xué)習(xí)算法的優(yōu)化方法，因?yàn)闄C(jī)器學(xué)習(xí)算法的目標(biāo)函數(shù)不容易求解：要么目標(biāo)函數(shù)不凸，要么目標(biāo)函數(shù)沒(méi)有解析解。

嶺回歸是一種非常簡(jiǎn)單的算法，它可以用正態(tài)方程直接求解模型的最優(yōu)參數(shù)，而不用用梯度下降法來(lái)慢慢迭代求解。因此，梯度下降算法可以用來(lái)求解嶺回歸，但由于嶺回歸比較簡(jiǎn)單，且其目標(biāo)函數(shù)有解析解，所以沒(méi)有使用梯度下降算法。在這種情況下，梯度下降算法的速度不如常規(guī)方程。

邏輯回歸為何不直接讓梯度等于0？

在機(jī)器學(xué)習(xí)的第一課中，沒(méi)有邏輯回歸的解析解（至少目前還沒(méi)有找到，只有在二進(jìn)制類的情況下，更不用說(shuō)神經(jīng)網(wǎng)絡(luò)了）。

即使有解析解，KKT條件也只是優(yōu)化非凸函數(shù)的必要條件和不充分條件，因?yàn)樵诖蠖鄶?shù)情況下，神經(jīng)網(wǎng)絡(luò)的損失函數(shù)是非凸的。

[1]利波維茨基，斯坦。“分類預(yù)測(cè)二元logit回歸的解析閉式解?！睉?yīng)用統(tǒng)計(jì)學(xué)雜志42.1（2015）：37-49。（分類預(yù)測(cè)的二元logit回歸的解析閉式解）

父母都是研究生，兒子整天班級(jí)墊底。這是遺傳突變還是均值回歸？

這與基因無(wú)關(guān)。這主要是優(yōu)越的條件，過(guò)度的青睞和缺乏指導(dǎo)的結(jié)果

上交所再發(fā)新規(guī)支持紅籌股回歸，對(duì)股市有何影響？利好哪些板塊？

上海證券交易所發(fā)布的新規(guī)支持中國(guó)資本回歸科技創(chuàng)新板上市

！事實(shí)上，這對(duì)市場(chǎng)是個(gè)好消息，對(duì)中概股也是個(gè)好消息。一方面，中概股的回歸可以帶動(dòng)眾多場(chǎng)外基金跟進(jìn)。

另一方面，如果好的企業(yè)能夠在a股繼續(xù)上漲，也會(huì)對(duì)a股的自我完善產(chǎn)生積極的影響。

因此，從長(zhǎng)遠(yuǎn)來(lái)看，它對(duì)市場(chǎng)有積極的影響。

但短期會(huì)被理解為好壞，完全取決于投資者的情緒、心態(tài)，以及市場(chǎng)周期

！讓我來(lái)談?wù)勔粋€(gè)現(xiàn)象。

在熊市中，正面會(huì)縮小，負(fù)面會(huì)放大。因此，如果這類消息處于熊市周期，則可能被視為抽水，導(dǎo)致下跌。

但在牛市周期？好消息會(huì)被放大，壞消息會(huì)減少。因此，這樣的新聞會(huì)產(chǎn)生更多積極的情緒。不會(huì)有抽水的感覺(jué)，也不會(huì)誤讀信息的本質(zhì)。

關(guān)注張大仙，投資不輸！如果你認(rèn)為這個(gè)答案有幫助，請(qǐng)記住支持它。