e的函數(shù)曲線？y的x次方等于e是指數(shù)函數(shù)。它的形象是單調(diào)增加的。X∈R，Y>0在（0,1）點與Y軸相交。圖像位于X軸上方，第二象限無限靠近X軸。Batch Normalization中，如何更快地

e的函數(shù)曲線？

y的x次方等于e是指數(shù)函數(shù)。它的形象是單調(diào)增加的。X∈R，Y>0在（0,1）點與Y軸相交。圖像位于X軸上方，第二象限無限靠近X軸。

Batch Normalization中，如何更快地訓練深度神經(jīng)網(wǎng)絡？

首先，ICs（internal covariate shift）在統(tǒng)計機器學習中有一個經(jīng)典的假設(shè)，它要求源空間和目標空間的數(shù)據(jù)分布是一致的。對于深層神經(jīng)網(wǎng)絡，深層神經(jīng)網(wǎng)絡涉及到多個層次的疊加，每一層的參數(shù)更新都會導致上層輸入數(shù)據(jù)分布的變化。通過層層疊加，上層輸入分布的變化會非常劇烈，這使得高層需要不斷地適應底層的參數(shù)更新，使得訓練收斂速度變慢。為了很好地訓練模型，我們需要非常小心地設(shè)置學習率，初始化權(quán)重，并盡可能小心地更新參數(shù)。

通過對每層數(shù)據(jù)進行批量歸一化，降低了對初始權(quán)值和學習速度的依賴，加快了神經(jīng)網(wǎng)絡的收斂速度。

當神經(jīng)網(wǎng)絡訓練的收斂速度很慢，或者梯度離散無法訓練時，可以嘗試用BN來解決。