基于動量的梯度下降 梯度下降法和隨機梯度下降法的區(qū)別？
梯度下降法和隨機梯度下降法的區(qū)別？梯度下降算法是一個寬泛的概念，意思是：當你優(yōu)化一個函數/分類器時，如何減少它的誤差？你不妨選擇梯度下降的方向，這很可能是最好的方向。既然你知道方向是梯度，你要走多久？
梯度下降法和隨機梯度下降法的區(qū)別？
梯度下降算法是一個寬泛的概念，意思是：當你優(yōu)化一個函數/分類器時，如何減少它的誤差？你不妨選擇梯度下降的方向，這很可能是最好的方向。既然你知道方向是梯度，你要走多久？答案是：隨機的。因此，梯度下降算法包括隨機梯度下降算法。
隨機梯度下降為什么比梯度下降快？
從理論上講，隨機梯度比梯度下降得快有兩個原因。
由于初始化設置中的參數是隨機的，通常遠離最佳結果，因此在初始階段快速離開初始區(qū)域并向前移動到最佳區(qū)域非常重要。隨機梯度下降算法每次迭代只有一個樣本。與梯度下降算法相比，只要學習速率正確，隨機梯度下降算法可以更快地離開初始區(qū)域，并且在初始階段所花費的時間遠遠大于隨機梯度下降算法面對噪聲時在后期所浪費的時間。
在梯度下降算法的計算中，所有的數據都是同時計算的，所有的數據通常都包含相似的數據，構成冗余。因此，在實際應用中，即使使用少量的隨機數據，隨機梯度下降算法的結果也與梯度下降算法的結果基本相同。當數據集非常大時，很可能會出現(xiàn)類似的函數。新加坡元的優(yōu)勢在這個時候更加明顯。梯度下降將在每次參數更新之前計算相似樣本的梯度。SGD更新一個樣本的方法使得無需遍歷就可以很容易地得到最優(yōu)解。雖然會損失一些精度，但很幸運是的，當我們做機器學習訓練任務時，大多數時候我們并不追求最優(yōu)解，而是往往提前結束，所以精度的小缺陷在這里并不那么重要。