The Markov Chain Monte Carlo Simulations 马尔.pdfVIP

The Markov Chain Monte Carlo Simulations last modified October 18, 2007 在貝氏推論 (Bayesian Inference) 的應用範疇裡, 常需要計算後驗機率 p (y |θ)p (θ) p (θ |y) = (1) p (y |θ)p (θ)dθ 或是其參數 (θ) 的貝氏估計 ˆ θp(y |θ)p (θ)dθ θ = E [θ |y] = θp(θ |y)dθ = (2) p (y |θ)p (θ)dθ 其中 p (θ) 為先驗機率 (prior probability)。 當計算式中的積分非常困難甚至不可能 分析時, 數值的方法變成唯一的選擇, 其中 MCMC(Markov Chain Monte Carlo) 是近十年來最熱門的方法, 應用的領域十分廣泛。 本單元將介紹幾種 MCMC 演算法, 配合簡單的範例, 將使讀者對 MCMC 型態的演算法有深刻的印象。 本章將學到關於程式設計 較複雜演算法的程式設計概念。 本章關於 MATLAB 的指令與語法 指令: mhsample, slicesample 語法: 1 1 背景介紹 MCMC由兩部分的觀念 (步驟) 成, 其一為 「Markov Chain process,」 另一個是 「Monte Carlo integration,」 分述如下: 1.1 Monte Carlo Integration Monte Carlo integration 以抽樣平均的方式計算式 (2) 的期望值 n 1 E [θ |y] ≈ θ |y (3) t n t=1 其中樣本{θ |t = 1, 2, · · · , n} 來 自機率密度函數為 p (θ |y) 的母體。 換句話說, 以樣 t 本平均數來估計期望值。 在大數法則的原理下, 當樣本數 n 夠大時, 樣本平均數將趨 近母體的均數。 Monte Carlo integration 讓積分變得簡單, 但是實際的情況卻是, 從 p (θ |y) 抽樣 並非易事, 特別當 p (θ |y) 不是一般標準的分配時, 時下常用的一些軟體並沒有支援。 Markov Chain Process 提供了在這樣的情況下產生樣本的方式。 1.2 Markov Chain Process 假設 X , X , X , · · ·為一序列變數, 且 X 來 自p (X |X ) 的機率分配, 換句話說 0 1 2 t+1 t+1 t 每個變數間是相關的, 但僅