為什么交叉熵cross-entropy可以用于計算代價？謝謝邀請。交叉熵代價函數(shù)(Cross-entropy cost function)是用來衡量人工神經(jīng)網(wǎng)絡(luò)(ANN)的預(yù)測值與實際值的一種方式。與

為什么交叉熵cross-entropy可以用于計算代價？

謝謝邀請。交叉熵代價函數(shù)(Cross-entropy cost function)是用來衡量人工神經(jīng)網(wǎng)絡(luò)(ANN)的預(yù)測值與實際值的一種方式。與二次代價函數(shù)相比，它能更有效地促進ANN的訓(xùn)練！

為什么信息熵要定義成-Σp*log(p)？

題主你好。信息熵是有公理化定義的。按照信息論的描述是這樣的：

• 信息量H應(yīng)當是概率pi（i＝ l，…， N）的連續(xù)函數(shù)；
  

• 如果所有的概率pi相等，即pi=1/N， 那么信息量H應(yīng)當是N的單調(diào)增函數(shù)；
• 如果選擇是分為相繼的兩步達到的，那么原先的一步選擇的信息量H應(yīng)等于分步選擇的各個信息量Hk(k=1，2)值的加權(quán)和。

基于這些基本假定可以證明信息熵的表達式必須是題主所給出的形式。一般教科書都對此都有證明。題主應(yīng)該可以證明這一點。在后面，小編會驗證香農(nóng)熵公式是滿足這三條的。

小編在此說一下第三條。這一條其實和概率論里的全概率公式的含義類似。我們計算一個分為兩個步驟才能完成的事件的概率，就是考慮分步選擇的每個子事件的概率權(quán)重和。將這一條移植到信息量的計算上，就得到了第三條。

下面小編來驗證香農(nóng)熵是滿足上述三條假設(shè)的。

由于信息熵表達式里只有對數(shù)函數(shù)和一次函數(shù)的乘積，所以連續(xù)性是必然成立的。【有一個約定0log0=0?！?/p>

單調(diào)性：考慮pi=1/N，那么香農(nóng)熵退化為H=logN，對數(shù)的底數(shù)一般選為大于1的正實數(shù)，所以H必然是N的單調(diào)增函數(shù)。

現(xiàn)在考慮第三條，不失一般性，我們這里考慮三個可能的結(jié)果，概率依次為p1，p2，p3。現(xiàn)在將事件過程分成兩步，第一步分為兩個結(jié)果概率依次為p1，(p2 p3)——第一個結(jié)果對應(yīng)前面的第一個結(jié)果，第二個結(jié)果分成兩個結(jié)果對應(yīng)第二步的兩個結(jié)果，其概率為p2/(p2 p3)，p3/(p2 p3)。很明顯，這兩個結(jié)果對應(yīng)之前的后面結(jié)果。按照香農(nóng)熵，我們可以一步到位地算出信息量為

H=-p1log(p1)-p2log(p2)-p3log(p3)

根據(jù)第三個條件，我們有另一個結(jié)果

H"=-p1log(p1)-(p2 p3)log(p2 p3)-p2log(p2)-p3log(p3) p2log(p2 p3) p3log(p2 p3)=H

這就是說明，香農(nóng)熵是滿足第三個條件的。

“熵”什么意思？它的變化有什么意義？

熵，是舶來品，英文entropy，是一個縮合詞，其中，en=energy能量，tr=trans超越/越來越，op=open開放，y[后綴]表特性。

故，熵的字面意思：能量越來越開放的特性。通俗的講：熵是濃度擴散的特性。

其實，古代道家，早就感悟到了熵增原理。其“無極”即是“熵至”。

無極，顧名思義，是沒有極性(即最無序)的元氣分布。

國學的元氣，即西學的以太，即量子場論的真空介質(zhì)。

熵增加原理：一個封閉系統(tǒng)，其中的高密度物態(tài)，總是要輻射能量或自我分解，發(fā)散到附近空間，最終形成熱平衡。

例如，將墨水滴入一杯清水中，因有濃度擴散效應(yīng)，墨分子將滲透稀釋到所有水分子，成最分散、最均勻、最無序的分布狀態(tài)。

1000千米大氣層內(nèi)的氣體分子，可進入50000千米左右高度真空的地球輻射帶，由于濃度擴散效應(yīng)，或者叫熵增加動力，氣體分子會自行分解為等離子態(tài)或亞原子，如，自由電子、自由質(zhì)子，其分布最混亂、其震蕩最無序。

光總要紅移，水總向低流，水總要蒸發(fā)，熱總要膨脹，壓抑要發(fā)泄，劫富可濟貧，冷熱要均勻。這些都是熵增加的自然行為。

物理新視野，旨在建設(shè)性新思維，共同切磋物理/邏輯/雙語的疑難問題。