從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。（RNN擴展，圖像源：colah.github.io文件)上面

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。

（RNN擴展，圖像源：colah.github.io文件)

上面的展開圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實際上，RNN實際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來源：中新網(wǎng)/@左上角的藍(lán)色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。

SVM和神經(jīng)網(wǎng)絡(luò)(如: DNN CNN RNN)是不是兄弟關(guān)系？有什么證據(jù)嗎？

不，神經(jīng)網(wǎng)絡(luò)不是兄弟，因為它們有不同的結(jié)構(gòu)。

支持向量機是通過凸優(yōu)化算法解決凸性問題，找到最大邊緣條件，實現(xiàn)高維數(shù)據(jù)分割。神經(jīng)網(wǎng)絡(luò)通過復(fù)雜的非線性表達式來描述輸入輸出之間的關(guān)系。CNN采用卷積核對參數(shù)矩陣進行約簡，RNN采用參數(shù)共享的方法，DNN采用FC網(wǎng)絡(luò)時只使用線性和非線性表達式。這些算法的設(shè)計思想和應(yīng)用都不盡相同。不能說他們是兄弟，但他們都是機器學(xué)習(xí)算法。

深度神經(jīng)網(wǎng)絡(luò)（DNN）是否模擬了人類大腦皮層結(jié)構(gòu)？

同時，一些特定的深層神經(jīng)網(wǎng)絡(luò)模型在一定程度上類似于人類大腦皮層的結(jié)構(gòu)。

例如，2017年10月，美國普渡大學(xué)綜合腦成像實驗室的劉忠明在大腦皮層發(fā)表了《基于動態(tài)自然視覺深度學(xué)習(xí)的神經(jīng)編解碼》，基于深度神經(jīng)網(wǎng)絡(luò)模型對動態(tài)視覺進行編解碼。這項工作基于972個視頻片段和11.5小時的功能磁共振數(shù)據(jù)，通過深度神經(jīng)網(wǎng)絡(luò)（fMRI）編碼和解碼，磁共振成像技術(shù)檢測由于氧合血紅蛋白和脫氧血紅蛋白比率的變化而引起的血液磁化率的差異，并判斷相應(yīng)的腦區(qū)處于活動或靜止?fàn)顟B(tài)），并用深層神經(jīng)網(wǎng)絡(luò)來解釋動態(tài)視覺與腦激活的關(guān)系以及二者之間的關(guān)系。在以往的研究中，深度神經(jīng)網(wǎng)絡(luò)主要用來解釋靜態(tài)視覺和大腦激活之間的關(guān)系。目前尚不清楚深度神經(jīng)網(wǎng)絡(luò)是否可以用來解釋動態(tài)視覺和大腦激活之間的關(guān)系。具體來說，CNN模型的中間層負(fù)責(zé)處理抽象的視覺信息，與人類視覺皮層的層次結(jié)構(gòu)非常相似。

最終效果非常好。在編碼方面，它取決于ROI（感興趣區(qū)域）。在相同的ROI范圍內(nèi)，平均精度可達0.4～0.6，跨ROI的精度為0.25～0.3。

此答案中使用的圖片均取自原稿。

云計算淘汰運維，SDN淘汰網(wǎng)工，IT行業(yè)只剩下碼農(nóng)和碼農(nóng)了嗎？

只是半瓶遲早要淘汰

不僅運維人員，不僅網(wǎng)絡(luò)工作者，還有碼農(nóng)遲早要淘汰90%。

海浪沖走了沙子，泥土造就了金子

！無論是云計算、SDN、Devops，還是大數(shù)據(jù)、AI。平臺維護離不開有經(jīng)驗的運維、網(wǎng)絡(luò)工程師、硬件工程師。如果我們擺脫了那些無知和沒有技能的人，我們留下的東西會更受歡迎，有更高的收入，我們不需要整天加班。

因為重復(fù)的臟活可以通過自動任務(wù)和腳本來完成，有經(jīng)驗的工程師可以通過積累知識和經(jīng)驗來解決問題，而不是簡單的重復(fù)性體力勞動。

神經(jīng)網(wǎng)絡(luò)的分類？

神經(jīng)網(wǎng)絡(luò)的分類方法有很多種。例如，根據(jù)網(wǎng)絡(luò)性能可分為連續(xù)網(wǎng)絡(luò)和離散網(wǎng)絡(luò)、確定性網(wǎng)絡(luò)和隨機網(wǎng)絡(luò)；根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為前向神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)。本章介紹了前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中有著廣泛的應(yīng)用。它的原理或算法也是許多神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)是一種前向神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)的代表。hvpfi}LD網(wǎng)絡(luò)的原型是一個非線性動態(tài)系統(tǒng)，已成功應(yīng)用于聯(lián)想記憶和優(yōu)化計算。針對優(yōu)化計算中的局部極小問題，提出了模擬退火算法。Baltzmann機是一種具有隨機輸出值單位的隨機神經(jīng)網(wǎng)絡(luò)。串行baltzmann機可以看作是二次組合優(yōu)化問題模擬退火算法的具體實現(xiàn)。同時，它還可以模擬外界的概率分布，實現(xiàn)概率意義上的聯(lián)想記憶。自組織競爭神經(jīng)網(wǎng)絡(luò)的特點是能夠自動識別環(huán)境和集群的特征。自組織競爭神經(jīng)網(wǎng)絡(luò)已成功地應(yīng)用于特征提取和大規(guī)模數(shù)據(jù)處理。

BP神經(jīng)網(wǎng)絡(luò)和GRNN的區(qū)別是什么？

共有43章，涵蓋了常見的神經(jīng)網(wǎng)絡(luò)（BP、RBF、SOM、Hopfield、Elman、LVQ、Kohonen、GRNN、NARX等）和相關(guān)的智能算法（SVM、決策樹、隨機森林、極限學(xué)習(xí)機等）。同時，一些章節(jié)還涉及到常用優(yōu)化算法（遺傳算法、蟻群算法等）與神經(jīng)網(wǎng)絡(luò)的結(jié)合。此外，本書還介紹了matlabr2012b中神經(jīng)網(wǎng)絡(luò)工具箱的新功能和特點，如神經(jīng)網(wǎng)絡(luò)并行計算、定制神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)高效編程等。