转移矩阵.ppt

第一節　馬可夫過程的基本概念 第二節　馬可夫過程 第三節　Chapman-Kolmogorov Equations 第四節　正規馬可夫鏈 第五節　吸收馬可夫鏈 馬可夫過程(Markov Process)：即為機率過程的一種，由俄國數學家 A.A. Markov 於1907年提出，對於一項稱為布朗寧運動(Brownian Motion) 的物理現象之數學說明，其基本意義係經由鏈環(Chain)的程序，從一項已知的情況，推估未來的情況。 在多次研究試驗中發現，某些事象的機率轉換過程中，其第 n 次驗的結果，常決定於前一次 (即第n-1次) 試驗的結果，而與前二次(即第 n-2 次) 以前的結果無關，而以後在學術研究上對於由一種狀態轉換至另一種狀態的過程中具有移轉機率(Transition Probability)者，而且此種轉換機率可以依據其緊接的前次狀態而推算出來，即稱為馬可夫過程，一連串的此種轉換過程之整體則稱為馬可夫鏈(Markov Chain )。 第一節　馬可夫過程的基本概念 馬可夫過程依受過去試驗結果影響的多寡分為一階與高階馬可夫過程， 一階馬可夫過程(First-Order Markov　Process) ：係指在馬可夫過程中，其第n次試驗的結果僅受其前一次(即第 n-1次) 結果的影響，而與前二次(含第n-2次)以前結果無關。 二階馬可夫過程(Second-Order Markov process)：為其第 n 次試驗結果僅受其前兩次(即第 n-1次與第n-2次) 結果的影響，而與前三次(含第n-3次)以前結果無關。 高階馬可夫過程(Higher-Order Markov Process) ：若以Xn，n=1,2…，表示第 n 次試驗的結果，則一階馬可夫過程即為滿足下式者： P(Xn=jn|X0=j0,…，Xn-2=jn-2 , Xn-1=jn-1) = P(Xn=jn|Xn-1=jn-1) 二階馬可夫過程即為滿足下式者： P(Xn=jn|X0=j0,…, Xn-2=jn-2 , Xn-1=jn-1) = P(Xn=jn|Xn-2=jn-2 , Xn-1=jn-1) 不過在實務之應用，係以一階馬可夫過程為主，本章即以一階馬可夫過程為討論對象。 狀態(States)：一個試驗或觀察具有各種可能的結果，其中每一種結果即稱為狀態，而所有狀態的集合，稱為狀態空間(States Space)。 若狀態空間中元素的個數為有限個，則稱該馬可夫鏈為有限馬可夫鏈(Finite Markov Chain)。否則稱為無限馬可夫鏈(Infinite Markov Chain)。 狀態應為互斥(Mutually Exclusive)且周延(Collectively Exhaus-tive)。 互斥：就是一個試驗或觀察的結果，不可同時歸屬兩個以上不同的狀態。 周延：是指所有的試驗結果均可歸屬於某一特定的狀態，而不會發生無狀態可歸屬的觀察或試驗。 機率向量(Probability Vector)：若一向量之各元素均為非負數(Non-negative)，且其總和為1者，稱為機率向量。設W 為 n 個元素之列向量(Row Vector)，即 W = [w0,w1, …，wn]，且滿足 wi≧0， ，則 W 為機率向量。同理，若為行向量亦同。 機率矩陣(Stochastic Matrix)：若一正方矩陣( n×n 矩陣)，其每一列或每一行皆為機率向量，則稱為機率矩陣。 轉移機率(Transition Probabilities)：在試驗或觀察中，從一個狀態轉移至另一個狀態之機率稱為轉移機率。例如一個由第 n-1期至第 n 期的試驗。第 n-1期在 i 狀態，第 n　期移至 j 狀態的機率，以 pij 表示。在一階馬可夫鏈中，僅受前一次影響，所以 pij=P(Xn=j|Xn-1=i) 。 轉移矩陣 (Transition Matrix)：試驗中，各種狀態相互之間轉移機率所構成的正方矩陣，稱為移轉矩陣，一般以大寫 P 表示。轉移矩陣有兩種表示方式(讀者須特別注意) 。 (1) 列表示前 (n-1) 期，行表示後(n)期，由列到行，因為是從列到行，故每列和皆為 1，即 (2) 行表示前 (n-1) 期，列表示後 (n) 期，由行到列，因為是從行到列，故每行和皆為 1，即 (1)與(2)之轉移矩陣互為轉置矩陣(Transpose Matrix)，一般以(1)表示法較常用。 轉移矩陣 P 是否隨時間而改變，可將馬可夫鏈分成兩類，一類為穩定性馬可夫鏈(Stationary Markov Chain)，其轉移矩陣為固定常數不隨時間而改變，也就是說，任何一期的