隨機梯度下降算法是什么？
隨機梯度下降算法是基于梯度下降法中最原始的方法——批量梯度下降法(BGD)的缺點而演變出的改良 。在訓(xùn)練過程中常見的損失函數(shù)為：批量梯度下降法（Batch Gradient Descent，簡稱BGD）的方法是先求偏導(dǎo)，再用每個θ各自的梯度負方向依次更新每個θ：它的效果如圖：可以看出是一種思路簡單、易于實現(xiàn)的算法，并且在較少迭代次數(shù)的情況下就可以得到全局最優(yōu)解，但是每次迭代都要調(diào)用全部數(shù)據(jù)，如果樣本數(shù)量(上面式子中的m)較大，將會導(dǎo)致計算極其慢 。
基于這一缺點，隨機梯度下降法（Stochastic Gradient Descent，簡稱SGD）被提出 。它不再每次迭代都用上所有樣本，而是每次迭代僅僅對一個樣本進行更新，從而達到對于數(shù)量龐大的樣本只需使用其中的相對少量就把θ最優(yōu)化的目的 。它的方法是在改寫損失函數(shù)之后，θ的更新是基于每個樣本對theta求偏導(dǎo)后所得梯度：相比BGD算法SGD算法速度大幅提升，幾十萬條樣本基本只需要用上萬或者只要上千條樣本就餓可以得到結(jié)果 。
【隨機梯度下降,隨機梯度下降法】但是SGD伴隨更多噪音、最優(yōu)化方向準(zhǔn)確度下降的問題 。效果如下圖，可以看出相比于BGD，SGD迭代次數(shù)顯著增加，并且并不是每一次迭代都是向著最優(yōu)化方向 。同時，SGD算法在實現(xiàn)難度上不如BGD算法簡單 。雖然理論上BGD比SGD得到全局最優(yōu)，但是在生產(chǎn)場景中，并不是每一個最優(yōu)化問題中的目標(biāo)函數(shù)都是單峰的，反而是sgd更容易跳出局部最優(yōu) 。
推薦閱讀
- 2022年立秋后氣溫會下降嗎
- 佛山房價下降,佛山房價會暴跌嗎
- 湛江房價年度走勢,湛江2020房價會下降嗎
- 湛江京基目前房價,湛江2020房價會下降嗎
- 寵物狗一個月時打什么針,每天一個隨機寶箱
- 贛州南康區(qū)安置點房價,贛州南康區(qū)的房價會下降嗎
- 房價一旦暴跌 最大的,房價已經(jīng)在下降了
- 比喻房價,是房價下降了
- 房價下降新聞,房價今年這是怎么了
- 阜陽合肥現(xiàn)代產(chǎn)房價,安徽阜陽的房價會下降嗎