梯度法 機器學(xué)習(xí)為什么會使用梯度下降法？
機器學(xué)習(xí)為什么會使用梯度下降法？另外，在神經(jīng)網(wǎng)絡(luò)（非凸問題）的訓(xùn)練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓(xùn)練logistic回歸（凸問題）模型。在機器學(xué)習(xí)任務(wù)中，必須最小化損失函數(shù)L（θ
機器學(xué)習(xí)為什么會使用梯度下降法？
另外，在神經(jīng)網(wǎng)絡(luò)（非凸問題）的訓(xùn)練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓(xùn)練logistic回歸（凸問題）模型。
在機器學(xué)習(xí)任務(wù)中，必須最小化損失函數(shù)L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型參數(shù)。梯度下降法和牛頓/擬牛頓法都是迭代法。梯度下降法是梯度法，而牛頓法/擬牛頓法是由二階Hessian矩陣的逆矩陣或偽逆矩陣求解的。
梯度下降法與牛頓法的比較