如何估算神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率？。具體來說，目前主流的神經(jīng)網(wǎng)絡(luò)模型使用梯度下降算法進(jìn)行訓(xùn)練，或?qū)W習(xí)參數(shù)。學(xué)習(xí)速率決定權(quán)重在梯度方向上成批移動的距離。理論上，學(xué)習(xí)率越高，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度越快。但是，如果

如何估算神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率？

。

具體來說，目前主流的神經(jīng)網(wǎng)絡(luò)模型使用梯度下降算法進(jìn)行訓(xùn)練，或?qū)W習(xí)參數(shù)。學(xué)習(xí)速率決定權(quán)重在梯度方向上成批移動的距離。理論上，學(xué)習(xí)率越高，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度越快。但是，如果學(xué)習(xí)速率過高，可能會“穿越”損失函數(shù)的最小值，導(dǎo)致收斂失敗。

上圖左邊是高學(xué)習(xí)率，右邊是低學(xué)習(xí)率，來源：mikkel Duif（quora）

那么，如何找到最佳學(xué)習(xí)率？

方法。但是，這種方法的初始學(xué)習(xí)率（上例中為0.1）不應(yīng)該太高。如果初始學(xué)習(xí)率太高，可能會“穿越”最優(yōu)值。

另外，還有另外一種思路，就是逆向操作，從學(xué)習(xí)率很低開始，每批之后再提高學(xué)習(xí)率。例如，從0.00001到0.0001，再到0.001，再到0.01，再到0.1。這個想法背后的直覺是，如果我們總是以很低的學(xué)習(xí)率學(xué)習(xí)，我們總是可以學(xué)習(xí)到最好的權(quán)重（除非整個網(wǎng)絡(luò)架構(gòu)有問題），但它將非常緩慢。因此，從一個很低的學(xué)習(xí)率開始，我們可以肯定地觀察到損失函數(shù)的下降。然后逐漸加大學(xué)習(xí)率，直到學(xué)習(xí)率過高，導(dǎo)致發(fā)散。該方法還避免了上述方法初始學(xué)習(xí)率過高，一次“穿越”最優(yōu)值的隱患。這是Leslie n.Smith在2015年的論文《訓(xùn)練神經(jīng)網(wǎng)絡(luò)的循環(huán)學(xué)習(xí)率》中提出的方法。

Keras還是TensorFlow，程序員該如何選擇深度學(xué)習(xí)框架？

如果您想用少量代碼盡快構(gòu)建和測試神經(jīng)網(wǎng)絡(luò)，keras是最快的，而且順序API和模型非常強(qiáng)大。而且keras的設(shè)計(jì)非常人性化。以數(shù)據(jù)輸入和輸出為例，與keras的簡單操作相比，tensorflow編譯碼的構(gòu)造過程非常復(fù)雜（尤其對于初學(xué)者來說，大量的記憶過程非常痛苦）。此外，keras將模塊化作為設(shè)計(jì)原則之一，用戶可以根據(jù)自己的需求進(jìn)行組合。如果你只是想快速建立通用模型來實(shí)現(xiàn)你的想法，keras可以是第一選擇。

但是，包裝后，keras將變得非常不靈活，其速度相對較慢。如果高度包裝，上述缺點(diǎn)將更加明顯。除了一些對速度要求較低的工業(yè)應(yīng)用外，由于tensorflow的速度較高，因此會選擇tensorflow

如果您在驗(yàn)證您的想法時，想定義損失函數(shù)而不是使用現(xiàn)有的設(shè)置，與keras相比，tensorflow提供了更大的個性空間。此外，對神經(jīng)網(wǎng)絡(luò)的控制程度將在很大程度上決定對網(wǎng)絡(luò)的理解和優(yōu)化，而keras提供的權(quán)限很少。相反，tensorflow提供了更多的控制權(quán)，比如是否訓(xùn)練其中一個變量、操作梯度（以獲得訓(xùn)練進(jìn)度）等等。

盡管它們都提供了深度學(xué)習(xí)模型通常需要的功能，但如果用戶仍然追求一些高階功能選擇，例如研究特殊類型的模型，則需要tensorflow。例如，如果您想加快計(jì)算速度，可以使用tensorflow的thread函數(shù)來實(shí)現(xiàn)與多個線程的相同會話。此外，它還提供了調(diào)試器功能，有助于推斷錯誤和加快操作速度。

學(xué)Python一定要會算法嗎？

開始時，您不必很好地學(xué)習(xí)算法。但是隨著技術(shù)的發(fā)展，仍然需要算法，否則只能做一些工作。

1. 學(xué)好軟件開發(fā)離不開計(jì)算機(jī)理論基礎(chǔ)，比如數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、網(wǎng)絡(luò)技術(shù)、算法研究等，如果你喜歡這項(xiàng)技術(shù)，那就不是問題。先開始，你可以彌補(bǔ)。

2. 算法是軟件開發(fā)的靈魂。好的算法寫不出好的程序。

3. 如何學(xué)習(xí)算法，首先選擇經(jīng)典算法教材?；镜目梢詮臄?shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)，其中包含一些基本的算法，然后再學(xué)習(xí)特殊的算法（實(shí)際上，在數(shù)據(jù)結(jié)構(gòu)領(lǐng)域?qū)W習(xí)算法一般就足夠了）。網(wǎng)上還有很多論壇、算法網(wǎng)站，為了吸引眼球，它們一般都很通俗易懂。大多數(shù)算法都是C語言，但是語言在算法層次上是相互聯(lián)系的，因此理解算法模型是最重要的。

4. 萬事開頭難。只要你開始，剩下的就是慢慢操作這項(xiàng)技術(shù)。該算法在實(shí)際應(yīng)用中是最快、最強(qiáng)的。

希望對您有所幫助

集成算法模塊。

在單片機(jī)上跑神經(jīng)網(wǎng)絡(luò)，是不是有很廣泛的應(yīng)用范圍？

我們必須仔細(xì)考慮。我擔(dān)心如果蘋果用你的臉來貸款幾億，你會很痛苦。所以我們不能用蘋果。我們必須使用華為。如果我們愛國，就必須使用華為。華為將為我增添智慧