模拟退火法PPT课件.pptVIP

Simulated Annealing Simulated Annealing（模擬退火法） Graham Kendall Artificial Intelligence Methods (G5BAIM) The University of Nottingham 大綱 簡介 模擬退火法 v.s. Hill Climbing 模擬退火法的檢測標準 實際退火與模擬退火之間的關係 演算法 冷卻排程 其他的問題 提高效能 演算法修正 結論 簡介 模擬退火法是模擬冷卻晶體的過程 最早是由Metropolis等人在1953年提出 1982年，Kirkpatrick等人將其運用在求最佳化的問題上 模擬退火法 v.s. Hill Climbing Hill Climbing是挑選鄰近點中最好的點，但這樣會有局部最大值的問題 模擬演算法是亂數找尋鄰近的點 若找到的點比立足點好，則取之 否則依照機率決定是否取之 模擬退火法的檢測標準 根據熱力學定律，在溫度為t的情況下，能量差所表現的機率如下： P(ΔE)=exp(-ΔE / kt) k是Boltzmann’s Constant 轉換到模擬退火法，則變成 P=exp(-c / t)r c是評估函數的差 r是0~1之間的亂數 實際退火與模擬退火之間的關係 演算法 設定終結溫度T及初始溫度t 若t=0，則結束冷卻 否則亂數找一可用之點 計算ΔE，若大於零則接受新的值 若小於零，則透過機率函數已決定是否接受新值 決定是否下降溫度，做進一步的搜尋 冷卻排程 初始溫度（Starting Temperature） 溫度要夠高才能移動到任何的狀態 溫度不能太高，否則會導致在一段時間內皆用亂數在湊解答 如果可以知道檢測函數的最大值就可以找到最好的初始溫度 快速提高溫度，然後又快速降溫，直到有60%的最差解被接受 快速提高溫度，但慢慢降溫，並定出適當比例最差解的接受度 冷卻排程（續） 最終溫度（Final Temperature） 通常是零，但會耗掉許多模擬時間 溫度趨近於零，其周遭狀態幾乎是一樣的 所以尋找一個低到可接受的溫度 冷卻排程（續） 溫度減少（Temperature Decrement） 每次降低溫度的差距以及在同一溫度反覆尋找最適解會導致指數般成長的搜尋空間 1.以線性降溫來說 Temp=Temp-x 2.以幾何觀念來看 Temp=Temp*y (y約0.8~0.99為佳) 冷卻排程（續） 反覆次數（Iterations at each Temperature） 一般會定一個常數 Lundy認為只要反覆一次，但每次降低的溫度差距必須非常小 Temp=Temp / (1+a*Temp) a是非常小的值 低溫需要較多反覆次數以避免找到局部最大值，但高溫則可減少次數 其他的問題 價值函數（Cost Function） 用來評估解的品質 Delta Evaluation 求某解與其鄰近點的價值 Partial Evaluation 不需額外產生的計算結果就可以判斷出來解的價值 其他的問題（續） 價值函數（Cost Function） Hard Constraints 在不違背合適解的條件下，所提出的強制規定 Soft Constraints 無論這種解是否違背條件，都算是合適解 Hard Constraints會給一個很大的weight Soft Constraints則是情況給予不同的weight 其他的問題（續） 鄰近點的結構（Neighborhood Structure） 有些結構是對稱性的，即可以從A狀態到B狀態，也可以從B狀態到A狀態 條件較弱（結構較鬆散）的有穩定的收斂 條件定的好，就可以使得在各種狀態之下都可以到達另一種狀態 其他的問題（續） 所有解的空間（The Solution Space） 空間小，可以展開搜尋 若允許不合適的解也存在的話就會加大搜尋空間 我們想辦法取一個適當值，期望能快速搜尋，又可避免在不利的情況下沒有好的進展 提高效能 初始化（Initialization） 將原本用亂數取初始值的方式改為盡可能找出一有用的起始點 雜交（Hybridization） 結合兩種以上的搜尋演算法 演算法修正 可接受的機率（Acceptance Probability） P(ΔE)=1- (ΔE / t) 少計算exponential會加快速度 建立一個可查詢各種值的table 冷卻（Cooling） 花一些時間找尋最佳溫度（包括最終溫度、溫差） 演算法修正（續） 鄰近點（Neighborhood） 對於不好的鄰近點給予一個懲罰值 價值函數（Cost Function） 利用其他演算法的價值函數來做計算 結論 模擬退火法已經證明可能收斂出最好解 要花較多的時間去搜尋各種解 可將模擬