從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。（RNN擴(kuò)展，圖像源：colah.github.io文件)上面

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。

（RNN擴(kuò)展，圖像源：colah.github.io文件)

上面的展開圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實(shí)際上，RNN實(shí)際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來(lái)源：中新網(wǎng)/@左上角的藍(lán)色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。

是否存在通用的神經(jīng)網(wǎng)絡(luò)模型，可以處理圖像，語(yǔ)音以及NLP？

對(duì)于目前的深度學(xué)習(xí)模型，雖然深度學(xué)習(xí)的目標(biāo)之一是設(shè)計(jì)能夠處理各種任務(wù)的算法，但是深度學(xué)習(xí)的應(yīng)用還需要一定的專業(yè)化，目前還沒(méi)有通用的神經(jīng)網(wǎng)絡(luò)處理模型。然而，每一種模式也在相互學(xué)習(xí)、相互融合、共同提高。例如，一些創(chuàng)新可以同時(shí)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，如批量標(biāo)準(zhǔn)化和關(guān)注度。一般模型需要在將來(lái)提出。

圖像和視頻處理，計(jì)算機(jī)視覺，最流行的是CNN，卷積神經(jīng)網(wǎng)絡(luò)，它的變形和發(fā)展，CNN適合處理空間數(shù)據(jù)，廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。例如，alexnet、vggnet、googlenet、RESNET等都有自己的特點(diǎn)。將上述模型應(yīng)用于圖像分類識(shí)別中。在圖像分割、目標(biāo)檢測(cè)等方面，提出了更有針對(duì)性的模型，并得到了廣泛的應(yīng)用。

語(yǔ)音處理，2012年之前，最先進(jìn)的語(yǔ)音識(shí)別系統(tǒng)是隱馬爾可夫模型（HMM）和高斯混合模型（GMM）的結(jié)合。目前最流行的是深度學(xué)習(xí)RNN遞歸神經(jīng)網(wǎng)絡(luò)，其長(zhǎng)、短期記憶網(wǎng)絡(luò)LSTM、Gru、雙向RNN、層次RNN等。

除了傳統(tǒng)的自然語(yǔ)言處理方法外，目前的自然語(yǔ)言處理深度學(xué)習(xí)模型也經(jīng)歷了幾個(gè)發(fā)展階段，如基于CNN的模型、基于RNN的模型、基于注意的模型、基于變壓器的模型等。不同的任務(wù)場(chǎng)景有不同的模型和策略來(lái)解決一些問(wèn)題。

入門機(jī)器學(xué)習(xí)該如何入手？

作為一名科技工作者和計(jì)算機(jī)專業(yè)教育家，讓我來(lái)回答這個(gè)問(wèn)題。

首先，機(jī)器學(xué)習(xí)是一個(gè)很好的選擇。機(jī)器學(xué)習(xí)作為人工智能領(lǐng)域的六大研究方向之一，目前比較流行。而且，由于機(jī)器學(xué)習(xí)與人工智能領(lǐng)域的其他研究方向密切相關(guān)，因此機(jī)器學(xué)習(xí)通常是學(xué)習(xí)人工智能的第一步。

機(jī)器學(xué)習(xí)本身涉及六大環(huán)節(jié)，即數(shù)據(jù)采集、算法設(shè)計(jì)、算法實(shí)現(xiàn)、算法訓(xùn)練、算法驗(yàn)證和算法應(yīng)用，因此學(xué)習(xí)機(jī)器學(xué)習(xí)可以從數(shù)據(jù)采集開始，然后逐步過(guò)渡到其他環(huán)節(jié)。在當(dāng)今大數(shù)據(jù)時(shí)代，數(shù)據(jù)收集整理的方式越來(lái)越多，獲取數(shù)據(jù)的方式也越來(lái)越多。我們可以從基本的數(shù)據(jù)庫(kù)技術(shù)入手。其實(shí)，機(jī)器學(xué)習(xí)作為大數(shù)據(jù)分析的兩種常用方式，大數(shù)據(jù)領(lǐng)域的從業(yè)者往往需要關(guān)注機(jī)器學(xué)習(xí)技術(shù)。

算法設(shè)計(jì)是機(jī)器學(xué)習(xí)的核心，因此算法知識(shí)的學(xué)習(xí)是機(jī)器學(xué)習(xí)的重點(diǎn)。學(xué)習(xí)算法知識(shí)可以從基本的常用算法入手，如決策樹、樸素貝葉斯、支持向量機(jī)等算法需要重點(diǎn)學(xué)習(xí)。在學(xué)習(xí)算法的過(guò)程中，必須結(jié)合具體案例。算法的實(shí)現(xiàn)可以使用Python語(yǔ)言。目前，Python廣泛應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域。

最后，對(duì)于目前的IT行業(yè)開發(fā)者來(lái)說(shuō)，學(xué)習(xí)機(jī)器學(xué)習(xí)知識(shí)可以重點(diǎn)結(jié)合大數(shù)據(jù)和人工智能平臺(tái)提供的開發(fā)環(huán)境，讓他們有更好的學(xué)習(xí)體驗(yàn)，在一定程度上增強(qiáng)自己的實(shí)踐能力。畢竟，未來(lái)大量機(jī)器學(xué)習(xí)的發(fā)展離不開平臺(tái)的支持。