排队论及其应用Lecture 2随机过程和排队论初步.pptVIP

经过m步转移后，位于状态j的概率 使用向量π(m)表示m步转移后位于所有状态上的概率，显然 * π(0)表示初始状态 例：一个通信装置接收信号0或者1，并且随机地把0变成1，1变成0发送出去。信号转换的概率为0.25。如果4个这样的装置串联，输入信号0，最后发送仍然为信号0的概率是多少？ * 马尔科夫链上的状态 定义：令i与j表示马尔科夫链的状态相反定义 状态之间的连通关系具有自反性、对称性和传递性 自反性： 对称性： 传递性： * 由于连通的三种性质，连通可以被视为一种等价关系，所有连通的状态集合可以被视为一个等价类 定义：一个马尔科夫链中如果所有状态都属于同一等价类，则这个马尔科夫链被称为不可约分的（Irreducible）。 * 令 表示从状态i出发，经过n步转移回到i的概率并且令 表示从状态i出发，在有限时间内回到状态i的概率 定义：状态i被称为常返（recurrence）的，当且仅当  （出去之后一定能回来） 当状态i为常返态，令 表示回归时间期望 当mi=∞，状态i被称为零常返的（null recurrence） 当mi∞，状态i被称为正常返的（positive recurrence） * 定义：如果从状态i出发，有大于0的概率马尔科夫链永远不能够回到i，则状态i被称为暂态。相应有 定理：如果i?j且i是常返态，则j也是常返态。 * 例 马尔科夫链的转移矩阵如下 状态1：常返态（从状态5进入后，不能离开） 状态2、5：暂态（一旦进入其它状态，永远不能返回） 状态0、3、4：常返态（从状态2进入后，不能离开），它们相互可达，构成一个等价类 * 定义：一个状态被称为吸收态，当且仅当pii=1。 吸收态是正常返态，例如上例中状态1 定义：状态i的周期被定义为所有满足 的n的最大公约数。如果一个状态的周期为1，则这个状态被称为非周期的。 定理：如果i?j，则i与j有相同的周期。 这个定理说明周期成为一种等价性质。一个等价类的所有状态有相同周期。对一个不可约分的马尔科夫链，如果包含一个非周期状态，则所有状态是非周期的，这个马尔科夫链被称为非周期的。 定理：令P为一个不可约分的、非周期的有限状态马尔科夫链的转移矩阵，则存在N，当n≥N，P(n)上所有元素非零。 * 稳态马尔科夫链 定义第n步转移后的马尔科夫链{Xn}状态分布 初始分布记为 当n? ∞，记 ，称之为马尔科夫链的极限状态或者稳态分布 * 定理：对一个不可归约的、非周期的马尔科夫链，极限分布 一定存在，并且和初始分布 无关。如果所有状态都不是正常返的（即所有状态是暂态或者零常返），对所有状态 ，这时称马尔科夫链没有稳态；如果所有状态都是正常返的，存在马尔科夫链的稳态状态分布 ，且回归时间期望 ，并且稳态分布可以如下求解 * 矩阵形式 例，考虑信号转换的问题，如果串联无穷多个装置，最后发送信号0和1的概率各是多少？发送两个0的平均间隔是多少？ * 例 如果马尔科夫链的一步转移概率矩阵如下，计算稳态下在各状态的概率 * 连续时间马尔科夫链分析 定义 为连续时间马尔科夫链在时间段(s, t)从状态i转移到j的概率 考虑时间t+Δttu，根据全概率公式，连续时间马尔科夫链的CK公式如下 * 矩阵形式 令u=0， 令 为连续时间马尔科夫链在时间t位于状态i的概率， 为初始状态概率 上式可以写为 * 连续时间马尔科夫链状态转移公式，与初始状态无关 如果令 则有 从泊松过程的定义可知，上式为泊松过程，泊松过程是一个连续时间马尔科夫过程 * 如果假设 根据CK公式，令u=0 * * Δt→0 考虑所有初始状态，有 矩阵形式为 对泊松过程。其中qj=λ，qrj= λ（r=j-1），其余为0 考虑生灭过程  * 嵌入式马尔科夫链 嵌入式马尔科夫链：将连续时间马尔科夫链表示为离散时间马尔科夫链 方式：每个事件的发生时间定义为离散的时间点 例如，生灭过程的转移概率为 * 证明生灭过程的嵌入马尔科夫链转移概率 状态i?i+1的转移概率，发生第一个出生（到达）事件的时间记为t1，发生第一个死亡（离开）事件的时间记为t2 * 怎样理解嵌入式马尔科夫链？ 在特定的时间发生状态转移，转移概率{pij}。 在一个状态i停留的时间服从参数为qi=λi+μi的指数分布，也就是说，在状态i停留的平均时间是1/qi