能否盡量通俗地解釋什么叫做“熵”？簡(jiǎn)而言之，熵是事物接近混沌的程度。無序的事物越多，它們就越混亂，熵也就越大。世界上的一切事物都有一個(gè)從高階到低階的自然趨勢(shì)，這就是熵增加的趨勢(shì)。好像每個(gè)人都很懶。想象

能否盡量通俗地解釋什么叫做“熵”？

簡(jiǎn)而言之，熵是事物接近混沌的程度。無序的事物越多，它們就越混亂，熵也就越大。世界上的一切事物都有一個(gè)從高階到低階的自然趨勢(shì)，這就是熵增加的趨勢(shì)。好像每個(gè)人都很懶。想象一下，當(dāng)沒有人清理時(shí)，環(huán)境就會(huì)開始變得一團(tuán)糟。這就是熵。

通常情況下，瓶子更容易打碎玻璃渣，從玻璃渣中回收到整個(gè)瓶子需要消耗能量。周邊環(huán)境更容易變得凌亂和惡劣，而要恢復(fù)一個(gè)干凈有序的環(huán)境，我們需要做工作來實(shí)現(xiàn)，必須有能源消耗。世界上的一切事物，甚至宇宙，都無法逃脫熵的詛咒，并逐漸變得混亂，最終達(dá)到溫度的平衡。整個(gè)宇宙都處于一種寒冷而孤獨(dú)的死亡狀態(tài)。

但對(duì)于生命，薛定諤早就提出，它是建立在負(fù)熵的基礎(chǔ)上的，即生物體可以通過吃、喝、呼吸和外界物質(zhì)交換來維持生命的秩序，這相當(dāng)于從周圍環(huán)境中獲得秩序。從出生到死亡，熵增加到最大。

為什么交叉熵cross-entropy可以用于計(jì)算代價(jià)？

“熵”什么意思？它的變化有什么意義？

熵是一種進(jìn)口產(chǎn)品，在英語中是一個(gè)濃縮詞，其中en=能量，TR=trans，superse/more and more，Op=開放，y[后綴]表示特征。

所以熵的字面意思是能量越來越開放。一般來說，熵是濃度擴(kuò)散的特征。

事實(shí)上，古代道家早已認(rèn)識(shí)到熵增原理。它的“無限”就是“熵到”。

無極，顧名思義，是生命力的無極性分布（即最無序）。

熵增原理：在封閉系統(tǒng)中，高密度狀態(tài)總是需要輻射能量或自我分解，發(fā)散到附近空間，最終形成熱平衡。

例如，將油墨滴入一杯清水中，由于濃度擴(kuò)散效應(yīng)，油墨分子會(huì)滲透并稀釋到所有水分子中，形成最分散、最均勻、最無序的分布狀態(tài)。

1000公里大氣中的氣體分子可以在大約50000公里的高真空下進(jìn)入地球輻射帶。由于濃度擴(kuò)散效應(yīng)或熵增能，氣體分子會(huì)自發(fā)分解成等離子體或子原子，如自由電子和自由質(zhì)子，其分布最為混亂，振蕩最為無序。

光要常紅，水要常低，水要常蒸發(fā)，熱要常膨脹，憂郁癥要發(fā)泄，搶富能扶貧，冷熱要平。這是熵增加的自然現(xiàn)象。

物理學(xué)的新視野旨在對(duì)物理/邏輯/雙語問題進(jìn)行建設(shè)性的新思維和共同討論。

為什么信息熵要定義成-Σp*log(p)？

你好。信息熵有公理化的定義。根據(jù)信息論的描述，可以得出如下結(jié)論：

基于這些基本假設(shè)，可以證明信息熵的表達(dá)式必須是主體給出的形式。大多數(shù)教科書都證明了這一點(diǎn)。受試者應(yīng)該能夠證明這一點(diǎn)。隨后，小編將驗(yàn)證香農(nóng)熵公式是否滿足這三個(gè)要求。

我們來談?wù)劦谌齻€(gè)。這實(shí)際上類似于概率論中的全概率公式的含義。我們計(jì)算一個(gè)事件可以分兩步完成的概率，即考慮每個(gè)子事件的概率權(quán)重和。把這個(gè)移植到信息量的計(jì)算中，得到第三個(gè)。

下面的小系列驗(yàn)證香農(nóng)熵是否滿足上述三個(gè)假設(shè)。

由于信息熵的表達(dá)式中只有對(duì)數(shù)函數(shù)和線性函數(shù)的乘積，連續(xù)性是不可避免的。[有一個(gè)約定0log0=0?！?/p>

單調(diào)性：考慮pi=1/N，則香農(nóng)熵退化為h=logn，且對(duì)數(shù)的底一般是大于1的正實(shí)數(shù)，所以h一定是N的單調(diào)增函數(shù)

現(xiàn)在考慮第三個(gè)。在不失一般性的前提下，讓我們考慮三種可能的結(jié)果。概率依次為P1、P2和P3。現(xiàn)在將事件過程分為兩步，第一步分為兩個(gè)結(jié)果，概率為P1，（P2 P3）-第一個(gè)結(jié)果對(duì)應(yīng)前面的第一個(gè)結(jié)果，第二個(gè)結(jié)果分為兩個(gè)結(jié)果對(duì)應(yīng)第二步的兩個(gè)結(jié)果，概率為P2/（P2 P3），P3/（P2 P3）。顯然，這兩個(gè)結(jié)果與下面的結(jié)果相對(duì)應(yīng)。根據(jù)Shannon熵，我們可以計(jì)算一步的信息量為

H=-p1log（P1）-p2log（P2）-p3log（P3）

根據(jù)第三個(gè)條件，我們得到另一個(gè)結(jié)果

H “=-p1log（P1）-（P2 P3）log（P2 P3）-p2log（P2）-p3log（P3）p2log（P2 P3）=H。這表明Shannon熵滿足第三個(gè)條件。