目前最快的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法是什么？最優(yōu)化方法總是是機(jī)器學(xué)習(xí)中非常重要的部分，都是學(xué)過(guò)程的核心算法。而Adam自14年提議以來(lái)就造成應(yīng)用廣泛關(guān)注，目前該論文的直接引用量早都沒(méi)有達(dá)到了10047。但自去年

目前最快的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法是什么？

最優(yōu)化方法總是是機(jī)器學(xué)習(xí)中非常重要的部分，都是學(xué)過(guò)程的核心算法。而Adam自14年提議以來(lái)就造成應(yīng)用廣泛關(guān)注，目前該論文的直接引用量早都沒(méi)有達(dá)到了10047。但自去年以來(lái)，很多研究者發(fā)現(xiàn)Adam優(yōu)化算法的收斂性不能得到能保證，ICLR2017的最佳的方文也重點(diǎn)關(guān)注它的收斂性。在本文中，依附的SylvainGugger、Jeremy Howard發(fā)現(xiàn)大多數(shù)深度學(xué)習(xí)庫(kù)的Adam實(shí)現(xiàn)方法都有吧一些問(wèn)題，并在fastai庫(kù)中實(shí)現(xiàn)方法了一種新型AdamW算法。依據(jù)一些實(shí)驗(yàn)，作者來(lái)表示該算法是目前訓(xùn)練神經(jīng)網(wǎng)絡(luò)最多的。

Adam過(guò)山車

Adam優(yōu)化軟件器之旅的確是過(guò)山車（roller-coaster）式的。該優(yōu)化軟件器于2014年所推出，本質(zhì)上是兩個(gè)是因?yàn)橹庇X(jué)的很簡(jiǎn)單想法：既然如此我們必須明確地知道某些參數(shù)必須移動(dòng)手機(jī)得快的、更遠(yuǎn)，這樣為什么不每個(gè)參數(shù)還要不違背相同的學(xué)習(xí)率？畢竟最近梯度的平方幫幫我們每一個(gè)權(quán)重可以不我得到多少信號(hào)，所以才我們可以乘以2這個(gè)，以切實(shí)保障就算是是最反應(yīng)慢的權(quán)重也有機(jī)會(huì)發(fā)光。Adam接受了這個(gè)想法，在過(guò)程中加入到了標(biāo)準(zhǔn)方法，就產(chǎn)生了Adam優(yōu)化系統(tǒng)器（再勤加變動(dòng)以以免早期批次會(huì)出現(xiàn)偏差）！

首次公開(kāi)發(fā)表之時(shí)，深度學(xué)習(xí)社區(qū)都為不知從何而來(lái)原論文的一些圖表（如下圖）興奮不已：

Adam和其他系統(tǒng)優(yōu)化器的對(duì)比

訓(xùn)練速度想提高200%！「整體而言，我們突然發(fā)現(xiàn)Adam太魯棒，并且越來(lái)越廣泛可以參照于機(jī)器學(xué)習(xí)領(lǐng)域的各種非凸優(yōu)化問(wèn)題」論文結(jié)尾那樣大致意思。那是三年前，深度學(xué)習(xí)的黃金時(shí)期。但這，事情并沒(méi)有什么明確的我們希望的方向發(fā)展。使用Adam訓(xùn)練模型的研究文章其實(shí)并不多，新的研究結(jié)束肯定地抑制了它的應(yīng)用，并在幾個(gè)實(shí)驗(yàn)中說(shuō)，SGDmomentum可能比奇怪的Adam表現(xiàn)更好。2018課程開(kāi)班之際，可惡的Adam被從早期課程中刪掉。

但是到了2017年末，Adam倒是又獲得了重生。IlyaLoshchilov和FrankHutter在他們的論文《Fixing Weight Decay Regularization in Adam》中提道，每個(gè)庫(kù)在Adam上率先實(shí)施的權(quán)重能量損失很顯然也是出現(xiàn)了錯(cuò)誤的，并提議了一種簡(jiǎn)單的方法（他們稱之為AdamW）來(lái)再修復(fù)它。哪怕結(jié)果略為相同，但他們確實(shí)是能提供了一些的的下圖的積極的結(jié)果的圖表：

Adam和AdamW差別不大

我們?nèi)绻苋藗兓謴?fù)對(duì)Adam的熱情，而且該360優(yōu)化器的一些早期結(jié)果似乎這個(gè)可以再現(xiàn)歷史。但事與愿違。只不過(guò)，應(yīng)用它的僅有一個(gè)深度學(xué)習(xí)框架是使用Sylvain編碼的fastai。導(dǎo)致普遍缺乏可用的越來(lái)越廣泛框架，日常注意實(shí)踐者就只有穩(wěn)守又舊又當(dāng)然不好用的Adam。

但這不是同樣的問(wèn)題。前面有很多阻礙。兩篇論文一針見(jiàn)血地指出了Adam在收斂性證明方面的確實(shí)問(wèn)題，事實(shí)上其中一篇提出來(lái)了名為AMSGrad的關(guān)于修改〈專利法〉的決定（并在享有聲譽(yù)的ICLR大會(huì)上贏來(lái)了「最佳的位置論文」獎(jiǎng)）。不過(guò)，如果不是說(shuō)我們從這種最戲劇化的生活（至少按照系統(tǒng)優(yōu)化器的標(biāo)準(zhǔn)來(lái)說(shuō)是戲劇化的）簡(jiǎn)史中學(xué)到了什么，如果不是，沒(méi)有什么是它表面看上去的樣子。確實(shí)是，博士生JeremyBernstein提道，所謂的的收斂問(wèn)題反正只是中,選擇方法錯(cuò)誤的超參數(shù)的跡象，也許AMSGrad也可以解決不了問(wèn)題。另一名博士生FilipKorzeniowski可以展示了一些早期成果，似乎意見(jiàn)了AMSGrad這種令人沮喪的觀點(diǎn)。

啟動(dòng)時(shí)過(guò)山車

那就我們這些只我希望飛速訓(xùn)練計(jì)算精確模型的人該干些什么呢？我們選擇用數(shù)百年來(lái)能解決科學(xué)辯論的——科學(xué)實(shí)驗(yàn)——來(lái)能解決這一爭(zhēng)議！稍后將呈所有細(xì)節(jié)，但首先讓我們來(lái)看看看確切結(jié)果：

適度調(diào)參之后，Adam確實(shí)是可以用！我們?cè)谝韵聨讉€(gè)任務(wù)中換取了訓(xùn)練時(shí)間方面的2011版結(jié)果：

在含有測(cè)試出來(lái)時(shí)間減少的僅18個(gè)epoch或30個(gè)epoch上訓(xùn)練什么CIFAR10，等到其準(zhǔn)確率達(dá)到94%，如DAWNBench競(jìng)賽；

對(duì)Resnet50通過(guò)調(diào)參，直至其在斯坦福汽車數(shù)據(jù)集上的準(zhǔn)確率都沒(méi)有達(dá)到90%，到時(shí)訓(xùn)練訓(xùn)練60個(gè)epoch（之前提升同一的準(zhǔn)確率不需要600個(gè)epoch）；

從零開(kāi)始訓(xùn)練另一個(gè)AWDLSTM有.QRNN，歷經(jīng)世間90個(gè)epoch（或在一個(gè)GPU上特訓(xùn)1個(gè)半小時(shí)），其困惑度在Wikitext-2上都沒(méi)有達(dá)到當(dāng)前最優(yōu)水平（之前的LSTM必須750個(gè)epoch，QRNN需要500個(gè)epoch）。

這意味著我們也看見(jiàn)在用Adam的超收斂！超收斂是特訓(xùn)學(xué)習(xí)率高的神經(jīng)網(wǎng)絡(luò)時(shí)直接出現(xiàn)的一種現(xiàn)象，它它表示省掉了一半訓(xùn)練過(guò)程。在AdamW之前，練習(xí)CIFAR10至94%的準(zhǔn)確率需要一共100個(gè)epoch。

與之前的工作相比較，我們發(fā)現(xiàn)自己只要你根據(jù)情況方法對(duì)頭，Adam在我們?cè)噲D過(guò)的每一個(gè)CNN圖像問(wèn)題上都也可以獲得與SGDMomentum一樣的好的準(zhǔn)確率，不過(guò)全都總是慢點(diǎn)。

關(guān)于AMSGrad是兩個(gè)糟糕的「解決的辦法方案」的建議是對(duì)的的。我們一直在發(fā)現(xiàn)自己，AMSGrad在準(zhǔn)確率（或其他去相關(guān)指標(biāo)）上就沒(méi)完成任務(wù)比特殊Adam/AdamW更高的增益。

當(dāng)你聽(tīng)著人們說(shuō)Adam的泛化性能不如我SGDMomentum時(shí)，你基本都總會(huì)突然發(fā)現(xiàn)他們?yōu)樽约旱哪Ｐ退x擇類型的超參數(shù)不怎么地。常見(jiàn)Adam必須的正則化比SGD多，但在從SGD轉(zhuǎn)過(guò)頭Adam時(shí)，以保證調(diào)整正則化超參數(shù)。

文章結(jié)構(gòu)：

理解AdamW

實(shí)現(xiàn)AdamW

AdamW實(shí)驗(yàn)和AdamW-ish

再理解AMSGrad

實(shí)現(xiàn)程序AMSGrad

AMSGrad實(shí)驗(yàn)的結(jié)果

3.完整而圖表

AdamW

明白AdanW：權(quán)重衰減作用與L2正則化

L2正則化是減少過(guò)擬合的很經(jīng)典方法，它會(huì)向損失函數(shù)先添加由模型所有權(quán)重的平方和分成的懲罰項(xiàng)，并乘上某一特定的超參數(shù)以操縱懲罰力度。以下本文所有的方程式全是用Python、NumPy和PyTorch風(fēng)格的表達(dá)

final_losslosswd*all_weights.pow(2).len()/2

其中wd為我們?cè)O(shè)置的超參數(shù)，用以完全控制懲罰力度。這也可以不一般稱權(quán)重能量損失，因?yàn)樵谶@一瞬間發(fā)揮原版SGD時(shí)，它都互逆于可以使用追加方程式更新完權(quán)重：

ww-lr*-lr*wd*w

其中l(wèi)r可以表示去學(xué)習(xí)率、來(lái)表示損失函數(shù)對(duì)w的導(dǎo)數(shù)，而后面的wd*w則意思是嚴(yán)厲懲罰項(xiàng)對(duì)w的求導(dǎo)結(jié)果。在這個(gè)等式中，我們會(huì)見(jiàn)到每當(dāng)自動(dòng)更新都會(huì)乘以一小部分權(quán)重，這也就是「衰減」的來(lái)源。

查看過(guò)的所有庫(kù)都在用第一種形式。在實(shí)踐中，簡(jiǎn)直是是從向梯度wd*w而實(shí)現(xiàn)方法算法，而又不是完全地決定損失函數(shù)。畢竟我們當(dāng)然不如果能提升額外的計(jì)算量來(lái)抵消損失，尤其是還有其它簡(jiǎn)單方法的時(shí)候。

呢既然它們是同一種表達(dá)，那就我們?yōu)槭裁葱枰趺捶直孢@兩種概念呢？原因本質(zhì)它們只是對(duì)原版SGD是等價(jià)的，而當(dāng)我們添加動(dòng)量或可以使用如Adam這樣復(fù)雜的最優(yōu)化方法，L2正則化（第一個(gè)方程）和權(quán)重能量損失（第二個(gè)方程）可能會(huì)存在很小的不同。在本文其余的部分中，我們討論權(quán)重脈沖前沿指的全是第三個(gè)方程式，而再討論L2正則化大都討論另一個(gè)經(jīng)典。

:在加快量的SGD中，L2正則化與權(quán)重衰減作用是不真包含的。L2正則化會(huì)將wd*w添加到梯度中，但現(xiàn)在權(quán)重并不是真接減去梯度。是需要我們需要計(jì)算移動(dòng)均值：

moving_avgalpha*moving_avg(1-alpha)*(wd*w)

然后權(quán)重才能實(shí)際乘以3乘上了學(xué)習(xí)率的移動(dòng)均值而換取可以更新。所以我w更新完中牽涉到到的正則化為lr*(1-alpha)*wd*w再加已經(jīng)在moving_avg中前面權(quán)重的組合。

并且，權(quán)重能量損失的更新可以意思是為：

moving_avgalpha*moving_avg(1-alpha)*

ww-lr*moving_avg-lr*wd*w

我們是可以仔細(xì)觀察到，從w中乘以3無(wú)關(guān)正則化的部分在兩種方法中是差別的。當(dāng)我們不使用Adam360優(yōu)化器時(shí)，權(quán)重衰減時(shí)間的部分可能會(huì)相差無(wú)幾更大。是因?yàn)锳dam中的L2正則化必須再添加wd*w到梯度中，并共有可以計(jì)算梯度非盈利組織會(huì)計(jì)平方的移動(dòng)均值，然后再能更新權(quán)重。但權(quán)重能量損失方法只是因?yàn)楹?jiǎn)單地沒(méi)更新權(quán)重，并有時(shí)候從權(quán)重中乘以點(diǎn)。

看樣子這是兩種有所不同的方法，在參與了實(shí)驗(yàn)后，IlyaLoshchilov和FrankHutter個(gè)人建議我們估計(jì)在Adam算法中建議使用權(quán)重衰減時(shí)間方法，而不是像超經(jīng)典深度學(xué)習(xí)庫(kù)中實(shí)現(xiàn)的L2正則化。

利用AdamW

那你我們要如何才能實(shí)現(xiàn)程序AdamW算法呢？要是你們?cè)诮ㄗh使用fastai的庫(kù)，那就在可以使用active函數(shù)時(shí)直接添加參數(shù)use_wd_schedTrue就能簡(jiǎn)單點(diǎn)地實(shí)現(xiàn)方法：

(lr,1,wds1e-4,use_wd_schedTrue)

如果不是你更喜歡新的訓(xùn)練API，你就能在每一個(gè)訓(xùn)練階段中建議使用參數(shù)wd_lossFalse：

phases [TrainingPhase(1,,lr,wds1-e4,wd_lossFalse)]

_opt_sched(phases)

以下以此為例地概述了fastai是該如何實(shí)現(xiàn)方法AdamW的。在優(yōu)化軟件器中的階梯函數(shù)，我們只是需要使用梯度修正參數(shù)，根本不會(huì)不建議使用參數(shù)本身的值（之外權(quán)重衰減時(shí)間，我們將在外部處理它）。接著我們是可以在最優(yōu)化器之前通簡(jiǎn)單實(shí)現(xiàn)程序權(quán)重脈沖前沿，但這仍不需要在計(jì)算梯度后才能完成，不然的話它都會(huì)影響不大梯度的值。因此在訓(xùn)練循環(huán)中，我們要判斷計(jì)算權(quán)重衰減作用的位置。

()

#'theweightsheerhere!

()

當(dāng)然了，最系統(tǒng)優(yōu)化器應(yīng)該是修改wd0，要不然它可能會(huì)做一些L2正則化，這都是我們不只希望看見(jiàn)了的。現(xiàn)在在權(quán)重脈沖前沿的位置中，我們可以在所有參數(shù)上寫(xiě)一個(gè)循環(huán)語(yǔ)句，并排列采用權(quán)重能量損失的更新。而我們的參數(shù)應(yīng)該是儲(chǔ)存在360優(yōu)化器的字典param_groups中，所以才這個(gè)循環(huán)應(yīng)該要意思是為萬(wàn)分感謝語(yǔ)句：

()

forgroupof_groups():

forparamofgroup[params]:

(-wd*group[lr],)

()

AdamW實(shí)驗(yàn)的結(jié)果：它真有沒(méi)問(wèn)題嗎?

我們首先在計(jì)算機(jī)視覺(jué)問(wèn)題上并且測(cè)試，效果的很好。具體來(lái)說(shuō)，Adam和L2正則化在30個(gè)epoch中額外的換算下來(lái)準(zhǔn)確率為93.96%，在兩次中有四次達(dá)到94%。我們選擇30個(gè)epoch是因?yàn)椴呗院蚐GD可以不我得到94%準(zhǔn)確率。當(dāng)我們使用Adam與權(quán)重脈沖前沿方法，我們緩慢我得到94%到94.25%的準(zhǔn)確率。這一點(diǎn)，我們發(fā)現(xiàn)使用1cycle策略時(shí)的選擇最優(yōu)beta2值為0.99。我們將beta1參數(shù)更視SGD中的動(dòng)量，這不它去學(xué)習(xí)率的增長(zhǎng)由0.95會(huì)降低到0.85，然后隨學(xué)率的降低而又提升到0.95。

L2正則化或權(quán)重衰減作用準(zhǔn)確率

更令人印象深刻的是，不使用測(cè)試3時(shí)間提高（即在測(cè)試集的一個(gè)圖像和它四個(gè)減少數(shù)據(jù)的版本上取預(yù)測(cè)的平均值），我們可以在單單18個(gè)epoch內(nèi)至少94%的準(zhǔn)確率（平均93.98%）！是從最簡(jiǎn)單Adam和L2正則化，每數(shù)次20次就會(huì)又出現(xiàn)三次將近94%的情況。

在這些比較中需要確定的一點(diǎn)是，變動(dòng)正則化會(huì)變化權(quán)重衰減作用或?qū)W習(xí)率的適宜值。在我們參與的測(cè)試3中，L2代價(jià)函數(shù)的最佳的位置學(xué)習(xí)率為1e-6（最大學(xué)習(xí)率為1e-3），而權(quán)重衰減作用的適宜值為0.3（學(xué)習(xí)率為3e-3）。在我們的所有測(cè)試出來(lái)中，數(shù)量級(jí)的差異也是相當(dāng)完全不同的，主要是因?yàn)長(zhǎng)2正則化被梯度的總平均范數(shù)（也是非常低）最有效地再劃分，但是Adam的學(xué)習(xí)率也是非常?。ㄋ詸?quán)重脈沖前沿的更新不需要更為強(qiáng)大的系數(shù)）。

這樣，權(quán)重衰減時(shí)間時(shí)總比Adam的L2正則化更好？我們還就沒(méi)發(fā)現(xiàn)到的確更糟的情況，但無(wú)論是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題（或者斯坦福汽車數(shù)據(jù)集上Resnet50的微調(diào)）那就RNNs，它都也沒(méi)具體更好的結(jié)果。

AMSGrad

理解AMSGrad

AMSGrad是由Sashank J. Reddi、SatyenKale和SanjivKumar在近期的一篇文章中推薦的。結(jié)論Adam360優(yōu)化器收斂的證明，他們?cè)诟乱?guī)則中發(fā)現(xiàn)了一個(gè)錯(cuò)誤，該錯(cuò)誤可能倒致算法收斂到次優(yōu)點(diǎn)。他們?cè)趺丛O(shè)計(jì)了理論實(shí)驗(yàn)，展示Adam失敗的話的情形，并提出來(lái)了一個(gè)簡(jiǎn)單的解決方案。機(jī)器之心也曾從適應(yīng)性去學(xué)習(xí)率算法向北出發(fā)分析過(guò)這一篇最佳的位置論文：BeyondAdam。

替更好地解釋錯(cuò)誤和解決方案，讓我們來(lái)看再看看Adam的更新規(guī)則：

avg_gradsbeta1*avg_grads(1-beta1)*

avg_squaredbeta2*(avg_squared)(1-beta2)*(**2)

ww-lr*avg_grads/sqrt(avg_squared)

我們剛才進(jìn)不了了偏差正鏡（對(duì)訓(xùn)練的開(kāi)始很用處），把重心放在旁邊了通常點(diǎn)上。作者發(fā)現(xiàn)到Adam收斂其他證明中的錯(cuò)誤之處本質(zhì)：

lr/sqrt(avg_squared)

這是我們朝那平均梯度方向邁出的三步，在訓(xùn)練中逐漸地降低。由于學(xué)率常常覺(jué)得是恒定或趨于零的，作者給出的解決方案是通過(guò)添加一個(gè)變量來(lái)跟蹤它們的大值，從而最終迫使avg_square量增強(qiáng)。

基于AMSGrad

歷史文章在ICLR2018中完成了一項(xiàng)大獎(jiǎng)并非常受歡迎，但它也在兩個(gè)主要的深度學(xué)習(xí)庫(kù)——PyTorch和Keras中實(shí)現(xiàn)程序。因?yàn)椋覀兊綍r(shí)傳入?yún)?shù)amsgradTrue去掉。

avg_gradsbeta1*avg_grads(1-beta1)*

avg_squaredbeta2*(avg_squared)(1-beta2)*(**2)

obj_squaredair(avg_squared,max_squared)

ww-lr*avg_grads/sqrt(max2_squared)

AMSGrad實(shí)驗(yàn)結(jié)果：大量噪音是沒(méi)用的

AMSGrad的結(jié)果令人的很吃驚。在所有實(shí)驗(yàn)中，我們都才發(fā)現(xiàn)它沒(méi)有半點(diǎn)幫助。除非AMSGrad才發(fā)現(xiàn)的最小值偶爾會(huì)比Adam都沒(méi)有達(dá)到的最小值稍低（在死傷方面），其心胸氣量（準(zhǔn)確率、f_1分?jǐn)?shù)…）到最后老是更糟（詳情請(qǐng)見(jiàn)引言中的表格）。

Adam優(yōu)化器在深度學(xué)習(xí)中隱斂的證明（而且它針對(duì)凸問(wèn)題）和他們?cè)谄渲邪l(fā)現(xiàn)到的錯(cuò)誤對(duì)此與現(xiàn)實(shí)就是現(xiàn)實(shí)問(wèn)題無(wú)關(guān)的怎么合實(shí)驗(yàn)很重要。實(shí)際測(cè)什么是因?yàn)?，?dāng)這些avg_square梯度想減小時(shí)，如此做能我得到建議的結(jié)果。

這因?yàn)?，除非把重點(diǎn)放在理論上可促進(jìn)血液循環(huán)額外一些新想法，也沒(méi)有什么可以取代實(shí)驗(yàn)（不過(guò)很多實(shí)驗(yàn)?。┮员仨毐ＷC這些想法實(shí)際上有助從業(yè)人員訓(xùn)練更好的模型。

附錄：所有結(jié)果

從零做起訓(xùn)練CIFAR10（模型是Wide-ResNet-22，以下為五個(gè)模型的來(lái)算結(jié)果）：

在用fastai庫(kù)化入的標(biāo)準(zhǔn)頭對(duì)斯坦福汽車數(shù)據(jù)集上的Resnet50并且微調(diào)（解凍以后前對(duì)頭訓(xùn)練20個(gè)epoch，并用完全不同的學(xué)習(xí)率練習(xí)40個(gè)epoch）：

建議使用來(lái)自GitHub（）的超參數(shù)訓(xùn)練AWD LSTM（結(jié)果總是顯示在有或沒(méi)有緩存指針（cachepointer）情況下驗(yàn)證驗(yàn)證/測(cè)什么集的困惑度）：

可以使用來(lái)自GitHubrepo的超參數(shù)訓(xùn)練QRNN（結(jié)果會(huì)顯示在有或沒(méi)有緩存指針情況下驗(yàn)正/測(cè)什么集的困惑度）：

因?yàn)檫@一具體任務(wù)，我們需要了1cycle策略的修改版本，更快了學(xué)習(xí)速度，之后長(zhǎng)時(shí)間保持較高的恒定學(xué)習(xí)速度，然后再往會(huì)下降。

Adam和其它優(yōu)化器之間的差不多

所有咨詢超參數(shù)的值和用于出現(xiàn)這些結(jié)果的代碼地址萬(wàn)分感謝：

python可視化界面怎么做？

本文所演示的的可視化方法

散點(diǎn)圖（Scatterplot)

直方圖(Histogram）

小提琴圖（Violinplot)

特征兩兩綜合比圖（Pairplot）

安德魯斯曲線(Andrewscurves)

核密度圖(Kerneldensityestimationplot)

垂直于坐標(biāo)圖（Parallelcoordinates）

Radviz（彎矩圖？）

熱力圖(Heatmap)

氣泡圖(Bubbleplot)

這里通?？梢允褂肞ython一個(gè)流行的作圖工具:Seabornlibrary，同樣的Pandas和bubbly輔助。我想知道為什么Seaborn比較比較好？

而且大部分事情數(shù)據(jù)分析，建模前，都要擦洗數(shù)據(jù)，刷洗后數(shù)據(jù)的結(jié)果總要有個(gè)格式，我明白了的最容易建議使用，最方便些再輸入模型,建議作圖的格式叫暗