马尔可夫链课件.pptxVIP

113.1马尔可夫过程及其概率分布马尔可夫性(或无后效性)的概念过程在时刻所处的状态为已知的条件下，在时刻所处的状态的条件分布与过程在时刻之前所处的状态无关。即“将来”什么样，与“过去”无关，只与“现在”有关。对随机过程，马尔可夫性用概率论语言描述为即在已知的条件下,与是相互独立的随机变量。第1页/共35页

2具有马尔可夫性的随机过程叫做马尔可夫过程，简称马氏过程。13.1马尔可夫过程及其概率分布马尔科夫过程的概念第2页/共35页

313.1马尔可夫过程及其概率分布泊松过程和维纳过程的马尔可夫性是独立增量过程，且即马尔可夫性与是相互独立的随机变量。证明见课本泊松过程是时间连续、状态离散的马氏过程维纳过程是时间连续、状态也连续的马氏过程第3页/共35页

413.1马尔可夫过程及其概率分布时间集(参数集)为约定状态空间记为时间和状态都是离散的马尔可夫过程称为马尔可夫链，简称马氏链。记为马尔可夫链的概念为马氏链在时刻m处于状态的条件下，在时刻m+n转移到状态的概率，称转移概率。(注意：转移概率是条件概率)转移概率和马氏链的马尔可夫性表示为：对任意的正整数,，有第4页/共35页

513.1马尔可夫过程及其概率分布由转移概率组成的矩阵：称为马氏链的转移矩阵。此矩阵的每一行的矩阵元之和等于1：解释为：从m时刻的状态出发，转移到m+n时刻的状态，必然是状态空间中的某一状态，且状态空间中的任一状态都有可能成为转移概率矩阵第5页/共35页

613.1马尔可夫过程及其概率分布当转移概率只与i,j和n有关时，简记为这时，称此转移概率具有平稳性，并称此马氏链为齐次的或时齐的。齐次马氏链的概念在马氏链为齐次的情况下，转移概率：称为n步转移概率。称为n步转移概率矩阵。n步转移概率第6页/共35页

713.1马尔可夫过程及其概率分布一步转移概率矩阵矩阵元概率矩阵的状态的状态记成第7页/共35页

813.1马尔可夫过程及其概率分布(0-1)传输系统只传输数字0,1的串联系统每一级的传真率为p,误码率为q=1－p.是一个随机过程，分析：，状态空间为参数集(时间集)为的状态分布只与的状态有关，而与时刻n以前的状态无关。故具有马尔可夫性，该过程是马氏过程。时间参数和状态都是离散的，故该马氏过程是马氏链。每一级传真率都一样，可认为是相同的子系统，故整个系统具有平稳性，故该马氏链是齐次马氏链。(传真率指输出与输入相同的概率，是条件概率。)第8页/共35页

913.1马尔可夫过程及其概率分布一步转移概率：一步转移概率矩阵i\j(0-1)传输系统只传输数字0,1的串联系统每一级的传真率为p,误码率为q=1－p.(传真率指输出与输入相同的概率，是条件概率。)第9页/共35页

1013.1马尔可夫过程及其概率分布两反射壁的一维随机游动Q醉汉Q每秒钟做一次游动。当处于格点i(i=2,3,4)时，各以1/3的概率向前或向后移动一格，或停留原处。当碰到墙壁时，只能反向移动一格。游动规则参数集(时间集)：状态空间：第n秒的位置记为是随机过程若已知第n时刻，则所处状态的概率分布只与有关。根据规则是马氏过程，且为马氏链。设Q在第m秒处于状态i，在给定规则下，经过n秒后的状态分布与m无关，只与n和i有关。故具有平稳性，是齐次马氏链。第10页/共35页

1113.1马尔可夫过程及其概率分布两反射壁的一维随机游动Q醉汉Q每秒钟做一次游动。当处于格点i(i=2,3,4)时，各以1/3的概率向前或向后移动一格，或停留原处。当碰到墙壁时，只能反向移动一格。游动规则一步转移概率一步转移概率矩阵第11页/共35页

12Q一步转移概率矩阵1013.1马尔可夫过程及其概率分布Q一步转移概率矩阵第12页/共35页

13排队规则13.1马尔可夫过程及其概率分布排队模型服务系统最多可容纳3名顾客(一名接受服务，另两名等待)。在一个足够小的时间间隔内，原来被服务的顾客因服务完毕离开系统的概率为p,有一名新顾客进入系统的概率为q。(这两个事件是相互独立的)先到先接受服务，若有随机到达的顾客发现已