退火式神经网路资料.docVIP

退火式神經網路 1. 模擬退火 模擬退火演算法乃由Kirkpatrick於1983年所提出。其乃由模擬物質結晶的退火程序發展出來的一套全域最佳化的方法。在凝結物理學(condensed matter physics)中，退火為一熱處理程序以獲得物質的低能量狀態。這個程序包含兩個步驟，首先將物質加熱至溶解狀態的最高溫，然後很小心地降低溫度，直到物質的分子排列為基礎狀態(ground state)。在液體階段，物質的所有分子排列為無序狀態，而在基礎狀態時，分子的排列具有高度結構化的架構，此時系統的能量最低。因此，其乃利用物質結晶過程和最佳化程序之間的類似性所發展出來的一套最佳化法則。晶體是由許多原子所組成的系統，晶體內部總能量的大小由其內部分子的相對位置、運動方向等狀態來決定。雖然由於分子極端快速的微觀運動(microscopic movement)以致於我們不可能預知某個特定的狀態，然而我們卻可以藉由統計學的方式來暸解分子在熱動平衡(thermodynamic equilibrium)時的種種特性。當晶體結晶的過程中，如果溫度下降的速度夠慢，那麼其內部能量將可達到極小值。基於這項觀查結果，模擬退火法在針對最佳化問題的求解過程中產生許多對應於晶體中原子狀態的可行解，並且把這些解所產生的能量函數值對應於晶體在各個狀態下的能量值。因此，經由類似於晶體結晶過程中，其內部分子狀態的變遷方式，模擬退火法之解在許多的可行解中移動，並且以極高的機率移向全域最佳解。除此之外，模擬退火法只需要能量函數(energy function)值，即能根據此能量值的高低，經由波茲曼機(Boltzamann mechanism)以模擬物質結晶退火的程序，直到物質達到基態為止。因此，其所解決的問題並不限制為可微分或不可微分，均可收斂至全域性最佳解(global optimum)。故便可以克服了傳統最佳化方法的主要瓶頸，亦即限制所欲解決的問題為可微分性以致於常陷入局部最佳解(local optimum)而無法跳越至全域最佳解。因此，於過去數十年中，模擬退火演算法在許多不同的領域中，如超大型積體電路、影像處理、分子物理及化學、零工工廠之排程及旅行推銷員問題上皆有良好的成效。 2 模擬退火演算法之數學模式 模擬退火演算法之求解方法是由目前之解i之鄰近區域產生另一可行解j，即在一固定溫度下，由某一狀態i轉移到另一狀態j，故模擬退火演算法之數學模式可用馬可夫鏈(Markov chains)表示之。首先，簡單介紹馬可夫過程(Markov procedure)之基本理論，然後再說明如何以馬可夫過程之理論來表示模擬退火演算法。 馬可夫過程為一連續的試驗，每次試驗結果出現之機率僅依前一次試驗(trial)出現結果之機率而定。假設第ｋ次試驗結果是由隨機變數(random variable)x(k)表示之，若第k-1次試驗之結果為ｉ，則第k次試驗結果為ｊ的轉移機率可定義如下： , (2.1) 其中為一條件機率，代表在x(k-1)=i發生之條件下，發生x(k)=j之機率。 若代表第k次試驗出現結果為i之機率為 , (2.2) 其中k=1,2,...。 若條件機率與k有關，即與發生之時間前後有關，則稱此為不均勻馬可夫鏈；反之，則稱均勻馬可夫鏈。而模擬退火演算法中的轉移機率與溫度控制參數T有關，若溫度T保持為常數，則此為均勻馬可夫鏈。其轉移機率可定義為如下： (2.3) 其中為代表在狀態i下產生狀態j之機率，即選擇鄰近解之機率，而為代表由狀態i轉移成狀態j之接受機率。因代表選擇鄰近解之機率，而其鄰近解之產生是從鄰近區域中隨機挑選，故其為一均勻分配。即 , (2.4) 其中N(i)表示可由狀態i達到之鄰近狀態之集合。 由上述可知，馬可夫過程為由目前之狀態ｉ之鄰近集合轉移到另一狀態ｊ的過程，其和模擬退火演算法之求解方法是由目前之解ｉ之鄰近區域產生另一可行解ｊ的過程不謀而合，故模擬退火演算法之數學模式可用馬可夫鏈表示之。 3 利用波茲曼機來建構模擬退火之架構 在熱動平衡時，於某特定溫度T下，每一特定的原子狀態xi存在的機率呈波茲曼分佈亦即 Pr{x(T)=i}= (3.1) 其中N為所有可能狀態的總數，E(i)為在第i個狀態下的能量，kb為波茲曼常數，T為溫度系統。因此，由波茲曼分佈，我們可以看出下列的特性： 當溫度愈高時，其狀態轉移的機率便愈高了，亦即其鄰近區域便愈大；當溫度較低時，其狀態轉移的機率便會下降了，亦即其鄰近區域便縮小。 較低的能量狀態比較高的能量較可能存在。亦即能量愈低的話，則其解的品質便愈高了。因此，當溫度趨近於零時，得到全域最佳解的機率近似於1。 所以Metropolis提出一個法則來模擬熱動平衡的原子系