or教學投影片(第11章)(ok).ppt.pptVIP

第十一章馬克夫鏈 林吉仁 著 高立圖書公司出版 11-1概　論 隨機過程 ：一連串具有隨機性出象的過程 獨立變動過程 vs 相依變動過程 馬克夫鏈：屬於一種相依的離散隨機過程 一階馬克夫鏈：第 n 次出象僅與第 n ?1 次的出象有關 二階馬克夫鏈、高階馬克夫鏈 相關名詞： (列)機率向量 機率矩陣 狀態：每次試行的可能結果 轉移機率：由狀態Si轉移到狀態Sj 的機率 ? 穩定型馬克夫鏈 轉移矩陣：常以P表示 起始機率向量：常以?0表示 11-2 k步轉移機率 穩定型一階有限馬克夫鏈轉移矩陣 pij稱為一步轉移機率 查普曼 - 柯默哥羅夫方程式 ： 設P(k)為k步轉移矩陣 P(k) = Pk 例題11-1 解： 狀態轉移圖 11-3正規馬克夫鏈 不論從那一個狀態開始，經過多次轉移後，每個狀態均有到達的可能 存在正整數 k，使得 Pk 中每一元素均大於0 判斷法： 將矩陣P中非0元素以“?”代替，然後檢查 P1, P2, P4, P8, P16, ??等，元素仍表為0或 ?。若有某一次羃之矩陣元素均為 ?，則P為正規轉移矩陣 例題11-2 「無記憶性」 例題11-3 11-4第一次通過時間 由狀態 Si 開始，第一次通過狀態 Sj 須轉移的次數，稱為第一次通過時間。若 Si = Sj，則稱為狀態 Si 的再生時間 第一次通過時間為隨機變數 假設mij為由狀態Si至狀態Sj的期望第一次通過時間，則有以下矩陣關係式 ( 聯立方程式 ) ：M = PM0 + 1 若 ? = [?(1), ?(2),?, ?(n)] 為正規矩陣P的穩定狀態向量，?(i) 為其第i個元素，則 mii = 例題11-4 例題11-5 11-5吸收性馬克夫鏈 馬克夫鏈如果進入某一狀態後就停留在該狀態，不能離開，稱該狀態為吸收狀態 吸收狀態的轉移機率pii必為1，即在轉移矩陣中主對角線元素為1 吸收性馬克夫鏈： 至少有一個吸收狀態 由任何非吸收狀態開始，經過若干次轉移後，均可到達吸收狀態。這些非吸收狀態稱為過渡狀態 例題11-6 吸收性馬克夫鏈的性質： 吸收性馬克夫鏈必非正規型馬克夫鏈 不論自何狀態開始，在吸收性馬克夫鏈中，系統被吸收的機率為1 設有標準型轉換矩陣P ，則 又 令N=(I?Q)?1，N稱基本矩陣，其元素nij表示由過渡狀態Si開始，在被吸收前，平均停留在過渡狀態Sj的次數 令B=(I?Q)?1R，B稱為吸收機率矩陣，其元素bij表示由過渡狀態Si開始而被吸收狀態Sj吸收之機率 令T=N?1，其元素ti表示由過渡狀態Si開始，在被吸收前，平均轉移之次數 例題11-7 例題11-8 (隨機漫步問題) 一個醉漢走路時，前進一步的機率為3/5 ，後退一步的機率為2/5 ，每步間為獨立。他現在距離家有三步，如果能回家就不再出來；但若退兩步則會跌入水溝中爬不起來。請問： (1) 他回到家、跌入水溝中的機率各多少？ (2) 他在回到家或跌入水溝前，平均走了幾 步？ 例題11-9 (賭徒的末路問題 ) 設有一賭徒在每次賭局中贏一元的機率是 p，輸一元的機率是 q = 1 ? p。他有資金2元。如果他決定湊足4元 ( 原有資金加上贏的 ) 或輸光就停止。請問： (1)恰賭三局而停止之機率？ (2)賭局超過四局的機率？ (3)他湊足4元或輸光的機率各是多少？ (4)平均賭多少局而停止？ 解： 設在水溝為狀態 S1，家為狀態 S6，其他 S2 ~ S5 參見下圖 依題意設得轉移矩陣 P如下： P為吸收性矩陣，整理 P 成為標準型 P? 作業研究 節點代表狀態，有向弧代表轉移的起點與終點，弧上的數字為轉移機率 解： 注意：僅滿足定理11-2之 (1) 的移轉矩陣不一定是正規轉移矩陣， 解： 解： 解： 解： 解：