啟發(fā)式算法是運籌學(xué)嗎？在計算機科學(xué)與運籌學(xué)，另一種算法是指用處發(fā)現(xiàn)到形狀相同方法來解決優(yōu)化問題的算法。類似算常情況與NP-difficult問題查找因此不可能比較有效的多項式時間精確計算算來幫忙解決N

啟發(fā)式算法是運籌學(xué)嗎？

在計算機科學(xué)與運籌學(xué)，另一種算法是指用處發(fā)現(xiàn)到形狀相同方法來解決優(yōu)化問題的算法。類似算常情況與NP-difficult問題查找因此不可能比較有效的多項式時間精確計算算來幫忙解決NP-work問題，因為一個求解答多項式時間次優(yōu)解。

與啟發(fā)式算法差別，通常沒法找到合理的解決方案非常飛速，要可可以證明的解決方案質(zhì)量和可證明的運行時間范圍。

理想情況下，近似值最優(yōu)可提升一個小的常數(shù)因子（例如在最優(yōu)解的5%以上的話）。

近似算法越來越密集地主要是用于.設(shè)精確多項式時間算法但而輸入大小而太貴得要命的問題。啟發(fā)式算法（heuristicalgorithm)是對于最優(yōu)化算法給出的。另一個問題的選擇最優(yōu)算法求得該問題你是什么實例的最優(yōu)解。啟發(fā)式算法可以這樣的話定義,定義：一個基于直觀或經(jīng)驗構(gòu)造的算法，在可接受的花費（指可以計算時間和空間）下給出未解決組合優(yōu)化問題每另一個實例的另一個可行解，該看似可行解與最優(yōu)解的移動的方向程度象肯定不能被最遲?，F(xiàn)階段，啟發(fā)式算法以仿自然體算法為主兼顧，主要有蟻群算法、設(shè)計模擬退火處理法、神經(jīng)網(wǎng)絡(luò)等。

數(shù)學(xué)建模最難的算法？

01、蒙特卡羅算法

02、數(shù)據(jù)數(shù)據(jù)擬合、參數(shù)估計、插值等數(shù)據(jù)處理算法

03、線性規(guī)劃、整數(shù)規(guī)劃、多元規(guī)劃、二次規(guī)劃等規(guī)劃類問題

04、圖論算法

05、動態(tài)規(guī)劃、復(fù)現(xiàn)搜索、治于算法、分支定界等計算機算法

06、最優(yōu)化系統(tǒng)理論的三大超經(jīng)典算法：設(shè)計模擬退火法、神經(jīng)網(wǎng)絡(luò)、遺傳算法

07、網(wǎng)格算法和遞歸法

08、一些嘗試特征轉(zhuǎn)換方法

09、數(shù)值分析算法

10、圖象處理算法

退火技術(shù)指的是什么意思呢？

模擬退火是一個可以修的全局最優(yōu)化算法。

要表述它的思想，也可以從Gibbs Distribution從哪里開始：

這定義了兩個概率分布特點，其中x來表示系統(tǒng)的狀態(tài)，P(x)可以表示系統(tǒng)取x狀態(tài)的概率，E(x)可以表示系統(tǒng)進入x狀態(tài)的能量，T來表示溫度。在物理上，E(.)的定義取決于它系統(tǒng)本質(zhì)，在最系統(tǒng)優(yōu)化上，我們需要虛擬軟件另一個系統(tǒng)，讓這些系統(tǒng)的E(.)按到我們的優(yōu)化目標(biāo)。

這個分布有兩個特點：

1.E(x)越小，P(x)則越大；道理一樣。

2.T越大，P(.)其分布越uniform，或且P(.)越subtle。

根據(jù)(1)，我們做最小化的時候，諸如我們要小化函數(shù)f(x)的值，就這個可以就讓E(x)f(x)；如果沒有是最大化f(x)，可以設(shè)E(x)-f(x)。不過，這樣一來原始的最優(yōu)化問題就變成了在P分布特點下去尋找概率大的的狀態(tài)x。

對此(2)，是可以畫個不太特別嚴謹?shù)膱D回答萬分感謝：

可以看到，當(dāng)T0的時候，只有一是對讓E(x)最小的x*，我們有P(x*)1，別的的x均為P(x)0。

而當(dāng)T∞時，對此大部分的x，P(x)均相等，隨后就組成了兩個均勻分布（從上面的概率公式看，此時相對于一丁點x應(yīng)該有E(x)/TE(x)/∞0，跟E(x)4幾已經(jīng)任何關(guān)系了）。

當(dāng)T取其他值的時候呢，是介乎0和∞之間的狀態(tài)。想罷我們最終的結(jié)論：T越大，P(.)越均勻地，T越小，P(.)越險峻。

是為更形象直觀，本物理盲在這里扯蛋幾句：假設(shè)一些水分子橫列了三個系統(tǒng)，系統(tǒng)的變量是水分子的空間坐標(biāo)。當(dāng)T太大的時候，P(.)變得均勻，索性這座系統(tǒng)變得更加相當(dāng)?shù)牟环€(wěn)定，所有的水分子都亂飄（只不過取完全沒有坐標(biāo)的概率都均等性嘛），宏觀上那就是水被蒸發(fā)成了氣體。當(dāng)T變成0時，P(.)變得更加太陡峭，索性雷鳴系統(tǒng)的狀態(tài)很穩(wěn)定在P(x)1的x上，宏觀上看那是水聚成了固體。

現(xiàn)在假設(shè)不成立我們有另一個算法，是可以在計算變量的P(.)上面采樣。那你，當(dāng)T0時，因此只能最優(yōu)的x*滿足的條件P(x*)1，剩下的的x均為P(x)0。因為如果能我們再采集的樣本不滿足此時P(.)的分布，那就它是有就是x*。這樣的算法應(yīng)該是模擬退火。

學(xué)過C語言的人都很清楚rand()，它會以之和的概率趕往一個另一種0到RAND_MAX之間的隨機數(shù)。這填寫的是在[0,RAND_MAX]的均勻分布上采樣點。題中我們要在更加古怪的分布上樣本采集，比如說上面的P(.)，該怎么做呢？解決方法應(yīng)該是MCMC（Markov chain Monte Carlo

）。

MCMC簡單其實是，從個精靈召喚狀態(tài)正在，經(jīng)由若干步狀態(tài)轉(zhuǎn)移，之后至少另一個狀態(tài)，這個那是再采集不出來的樣本。在每次狀態(tài)轉(zhuǎn)移時（到，到等），首先不需要propose個可能的新狀態(tài)x，然后把根據(jù)P(.)的特點確定是否需要要給予（accept）這種新的狀態(tài)：如果沒有進行了，這樣下一次的狀態(tài)就變?yōu)閤，不然一直保持變?yōu)?。這但是是替以維護精細入微平衡（Detailedbalance

）。對此MCMC而言，正是這樣的最重要的的步驟絕對的保證了重新采樣的結(jié)果條件符合目標(biāo)廣泛分布。在模擬退火的算法中，有三個很詭異的rejection操作，反正是那個原因。但，維護細致平衡是有代價的，如果沒有目標(biāo)其分布P(.)過多險峻陡峭，那么，很可能會consider的x能量遠大于當(dāng)前的x（E(x)E(x)），據(jù)rejection公式，可以找到這樣的x全都總是會被委婉地拒絕。隨后系統(tǒng)的收斂速度會變得巨慢：簡單來講，你必須相當(dāng)多的狀態(tài)轉(zhuǎn)移才能再采集到個考試合格的樣本。但要是P(.)都很勻?qū)嵞?，過了一會兒新的x就很難被得到，相對來說就更太容易搞到不合格的樣本。因為在模擬退火中，從未不然后從T0（或是其他低溫狀態(tài)）又開始采樣點，事實上理論上這樣的話再采集到的樣本也最優(yōu)選擇，但為了取得另一個樣本，你即便要永遠不會地等下來。演示退火區(qū)分的方法是：從高溫正在重新采樣，讓算法可以迅速拿到下的樣本，接著很緩慢地降低一點溫度到，正在此時我以為起點，在溫度下采樣點，因此和很距離，只好也很接近下面的考試合格樣本，經(jīng)少數(shù)幾輪狀態(tài)轉(zhuǎn)移，就也可以期望拿到下面的樣本，想罷再繼續(xù)稍微地減少溫度到，再重復(fù)一遍這樣的過程……直到此時前往了一個極低溫度，這時的樣本就是全局最優(yōu)解。可以找到T有另一個大小改變的過程，這差不多就是“退火”這種說法的由來。在1983年相關(guān)證明了模擬退火這些想法雖然是六逆重生療法的。因此（理論上）它最啊的地方只是相對而言：這是個通用算法。也就是說全都也可以咬死絕大部分的最優(yōu)化問題，但我得到的結(jié)果還是全局最優(yōu)的！但實踐應(yīng)用中，全局最優(yōu)基本是不能保證的，這是是因為同時也可以證明了要至少全局最優(yōu)需要實現(xiàn)方法的退火速度（也就是T會增大的速度）——這樣的速度基本都是慢到人類根本無法承受住的。不過幸好實際應(yīng)用效果中，我們常見也可以需要一個快速的溫度下降策略，再依靠一些heuristic算法，那樣之后能夠得到的結(jié)果雖不是全局最優(yōu)，但基本是又是全局確實不錯的。關(guān)與MCMC講的比較好intuitive，請有興趣的同學(xué)讓其做個參考相關(guān)資料：）