為什么要使用relu激活函數(shù)？增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端

為什么要使用relu激活函數(shù)？

增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端不會(huì)接近飽和。當(dāng)我們計(jì)算導(dǎo)數(shù)時(shí)，導(dǎo)數(shù)不會(huì)為零，所以梯度不會(huì)消失。但是左端問題仍然存在，如果我們掉進(jìn)去梯度就會(huì)消失。所以有很多改進(jìn)的relu。

深度學(xué)習(xí)難嗎？

有毅力不難思考，有毅力不難思考，有毅力不難堅(jiān)持

深度學(xué)習(xí)是什么意思？

近年來，隨著信息社會(huì)、學(xué)習(xí)科學(xué)和課程改革的發(fā)展，深度學(xué)習(xí)是一種新的學(xué)習(xí)形式。

目前，對(duì)深度學(xué)習(xí)的概念有很多答案，很多專家學(xué)者的解釋是本質(zhì)意義一致的表述略有不同。

李嘉厚教授認(rèn)為，深度學(xué)習(xí)是建立在理解的基礎(chǔ)上的。學(xué)習(xí)者可以批判性地學(xué)習(xí)新的想法和事實(shí)，將它們?nèi)谌朐械恼J(rèn)知結(jié)構(gòu)，將許多想法聯(lián)系起來，并將現(xiàn)有的知識(shí)轉(zhuǎn)移到新的情境中，從而做出決策和解決問題。

郭華教授認(rèn)為，深度學(xué)習(xí)是在教師指導(dǎo)下的一個(gè)有意義的學(xué)習(xí)過程，學(xué)生圍繞挑戰(zhàn)性的學(xué)習(xí)主題，全心投入，體驗(yàn)成功，獲得發(fā)展。它具有批判性理解、有機(jī)整合、建設(shè)性反思和遷移應(yīng)用的特點(diǎn)。

深度學(xué)習(xí)有幾個(gè)特點(diǎn)。一是觸動(dòng)人心的學(xué)習(xí)。第二，體驗(yàn)式學(xué)習(xí)。三是深入認(rèn)識(shí)和實(shí)踐創(chuàng)新的研究。

卷積神經(jīng)網(wǎng)絡(luò)卷積層后一定要跟激活函數(shù)嗎？

線性激活函數(shù)的缺點(diǎn)是線性函數(shù)的組合仍然是線性的。

由于我們遇到的問題大多是非線性的，比較復(fù)雜，如果不使用激活函數(shù)來添加非線性，網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力就非常有限，相應(yīng)的效果自然就差了。