機器學習為什么會使用梯度下降法？另外，在神經(jīng)網(wǎng)絡（非凸問題）的訓練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓練logistic回歸（凸問題）模型。在機器學習任務中，必須最小化損失函數(shù)L（θ

機器學習為什么會使用梯度下降法？

另外，在神經(jīng)網(wǎng)絡（非凸問題）的訓練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓練logistic回歸（凸問題）模型。

在機器學習任務中，必須最小化損失函數(shù)L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型參數(shù)。梯度下降法和牛頓/擬牛頓法都是迭代法。梯度下降法是梯度法，而牛頓法/擬牛頓法是由二階Hessian矩陣的逆矩陣或偽逆矩陣求解的。

比較了梯度下降法和牛頓法。因為微積分的本質(zhì)是研究“量”與“量變”的關系。我們感興趣的大多數(shù)數(shù)量，比如位置和速度，比如GDP、人口和壽命，都是不斷變化的。為了研究它們之間的關系，我們經(jīng)常使用一些數(shù)學模型，其中包含了大量的微分方程，自然是微積分學的重要基礎。

沒有微積分，世界仍然是黑暗的。

具體來說，微積分廣泛應用于各行各業(yè)。

物理學不言而喻，牛頓發(fā)明微積分是為了用微分方程來描述物理世界的現(xiàn)象。微積分必須應用于任何工程領域。通常，你需要計算體積，面積和壓力。

在經(jīng)濟學中，各種預測模型都是微分方程。還有著名的博弈論，它運用了大量的高等數(shù)學，遠遠超過微積分。

在金融領域，現(xiàn)在很多人從事“數(shù)量交易”，他們不得不用微積分來計算期權定價和各種衍生金融產(chǎn)品。光靠微積分是不夠的。我們需要添加更先進的工具，如“隨機過程”來處理可變的“風險”。

保險。計算人們的預期壽命，各種事故發(fā)生的概率，從而計算出應該設定多少保費。太高了，買不起。太低了，賣不出去。微積分和概率論是標準的。

在過去兩年中，“機器學習”或“人工智能”（事實上，它們都是類似的東西），比如alphago，它在下棋方面非常強大，它包含了一個很深的神經(jīng)網(wǎng)絡（40層）。這個網(wǎng)絡是一個非常復雜的函數(shù)，其中有許多參數(shù)（數(shù)億），需要對這些參數(shù)進行訓練。訓練的方法本質(zhì)上是梯度下降法，這也是微積分中的一種方法。

你有沒有注意到上面提到的行業(yè)實際上是非常有利可圖的。

有些人可能會認為微積分和《天書》一樣，是關于現(xiàn)實世界中不存在的東西，而只存在于理論世界中的東西。在學習和考試之后，他們都把它還給了老師。但這是完全錯誤的。世界上有許多抽象而乏味的行業(yè)，但它們可能是有利可圖的行業(yè)。有很多微積分，概率論和高等代數(shù)。在一些更復雜的行業(yè)，數(shù)學可能更先進。學習微積分、概率論等高級知識，再加上應用領域的知識（如經(jīng)濟學、程序設計等），絕對是踏入小康、甚至致富的非常可靠的手段

微積分我們很少用到，為什么還要學呢？

我認為這種理解并不全面。首先，算法的核心是如何利用抽象的數(shù)學模型來解決這個實際問題，而實現(xiàn)的手段是通過代碼編程，所以算法的核心是數(shù)學，基本上是精確的。但是說數(shù)學是一種算法是一個大問題。數(shù)學涉及面很廣。它是一個自洽系統(tǒng)。隨著人類認識水平的提高，數(shù)學也在不斷發(fā)展，許多新的數(shù)學工具被開發(fā)出來幫助我們解決實際問題。

因此，如果數(shù)學是它背后的真理理論，那么算法就是用部分真理來幫助我們解決一些具體問題。這是我的理解。