深度學(xué)習(xí)和普通的機(jī)器學(xué)習(xí)有什么區(qū)別？一張圖片顯示了這種關(guān)系。機(jī)器學(xué)習(xí)是人工智能的重要領(lǐng)域之一，而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支。深度學(xué)習(xí)之所以近年來(lái)流行起來(lái)，是因?yàn)樗黄屏藗鹘y(tǒng)機(jī)器學(xué)習(xí)無(wú)法解決的一些問(wèn)題

深度學(xué)習(xí)和普通的機(jī)器學(xué)習(xí)有什么區(qū)別？

一張圖片顯示了這種關(guān)系。機(jī)器學(xué)習(xí)是人工智能的重要領(lǐng)域之一，而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支。深度學(xué)習(xí)之所以近年來(lái)流行起來(lái)，是因?yàn)樗黄屏藗鹘y(tǒng)機(jī)器學(xué)習(xí)無(wú)法解決的一些問(wèn)題。

機(jī)器學(xué)習(xí)的意義在于代替人工完成重復(fù)性工作，識(shí)別出統(tǒng)一的規(guī)則（模式）。但是對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)來(lái)說(shuō)，特征提取的難度不?。ㄌ卣骺梢允窍袼?、位置、方向等）。特征的準(zhǔn)確性將在很大程度上決定大多數(shù)機(jī)器學(xué)習(xí)算法的性能。為了使特征準(zhǔn)確，在特征工程部分需要大量的人力來(lái)調(diào)整和改進(jìn)特征。完成這一系列工作的前提是，數(shù)據(jù)集中所包含的信息量是充分的，并且易于識(shí)別。如果不滿足這一前提，傳統(tǒng)的機(jī)器學(xué)習(xí)算法將在信息的雜亂中失去其性能。深度學(xué)習(xí)的應(yīng)用正是基于這個(gè)問(wèn)題。它的深層神經(jīng)網(wǎng)絡(luò)使它能夠在雜波中學(xué)習(xí)，自動(dòng)發(fā)現(xiàn)與任務(wù)相關(guān)的特征（可以看作是自發(fā)學(xué)習(xí)的特征工程），并提取高級(jí)特征，從而大大減少了特征工程部分任務(wù)所花費(fèi)的時(shí)間。

另一個(gè)明顯的區(qū)別是他們對(duì)數(shù)據(jù)集大小的偏好。傳統(tǒng)的機(jī)器學(xué)習(xí)在處理規(guī)則完備的小規(guī)模數(shù)據(jù)時(shí)表現(xiàn)出良好的性能，而深度學(xué)習(xí)則表現(xiàn)不好。隨著數(shù)據(jù)集規(guī)模的不斷擴(kuò)大，深度學(xué)習(xí)的效果會(huì)逐漸顯現(xiàn)出來(lái)，并變得越來(lái)越好。對(duì)比如下圖所示。

神經(jīng)網(wǎng)絡(luò)的每一層網(wǎng)絡(luò)，有什么實(shí)際的意義嗎？

這個(gè)問(wèn)題涉及到神經(jīng)網(wǎng)絡(luò)的可解釋性。經(jīng)過(guò)訓(xùn)練，每一層神經(jīng)網(wǎng)絡(luò)都有其實(shí)際意義，但這一意義通常很難被人類簡(jiǎn)單地理解。人類可以嘗試對(duì)經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行重復(fù)計(jì)算，但這種計(jì)算的意義還不夠明確，因此一般認(rèn)為神經(jīng)網(wǎng)絡(luò)的“解釋性”不強(qiáng)。

一般來(lái)說(shuō)，淺層神經(jīng)元提取一些低級(jí)特征，而深層神經(jīng)元提取一些高級(jí)特征。在許多問(wèn)題中，我們可以設(shè)計(jì)一些方法來(lái)可視化從每個(gè)隱藏層中提取的特征，但是這種方法不能很好地解釋所有的問(wèn)題，所以很多人把神經(jīng)網(wǎng)絡(luò)看作一個(gè)“黑匣子”。

在某些特定問(wèn)題中，模型可能具有良好的可解釋性。以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為例，提出了一種逐層提取特征的方法。如下圖所示，底層網(wǎng)絡(luò)提取圖像的邊緣、紋理等特征。隨著層次的提高，網(wǎng)絡(luò)逐漸提取出更高層次、更全面的特征。然而，這并不是說(shuō)CNN的解釋能力是完美的。只能說(shuō)，CNN比一般的神經(jīng)網(wǎng)絡(luò)具有相對(duì)更好的解釋能力，但我們?nèi)匀缓茈y真正厘清每一層網(wǎng)絡(luò)的實(shí)際意義。

在深度學(xué)習(xí)被提出之前，當(dāng)時(shí)機(jī)器學(xué)習(xí)領(lǐng)域最流行、最成功的方法是隨機(jī)林，隨機(jī)林中的每一棵決策樹(shù)都有非常好的解釋性——深度學(xué)習(xí)拋棄了這種解釋性，從模型的最終性能來(lái)看，它也有一個(gè)更好的表現(xiàn)比各種隨機(jī)森林。從這個(gè)例子中，我們還可以感覺(jué)到模型的可解釋性和模型的性能之間存在著非常復(fù)雜的關(guān)系。當(dāng)您的模型非常簡(jiǎn)單時(shí)，模型的可解釋性越強(qiáng)，模型的性能越好；但一旦模型變得復(fù)雜，模型的可解釋性和模型的性能之間可能會(huì)出現(xiàn)矛盾。