马尔可夫更新过程与半马尔可夫过程”的讨论.docVIP

关于“马尔可夫更新过程与半马尔可夫过程”的讨论 前言 马尔可夫更新过程是马尔可夫过程和更新过程的综合与推广。马尔可夫更新过程以及由其产生的半马尔可夫过程，与马尔可夫过程、更新过程仅有紧密的联系，又有明显的区别。 马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫过程是由其产生的一维随机过程。半马尔可夫过程的状态逗留时间是一般分布，不具有马尔可夫性，但在各状态转移时刻具有马尔可夫性。 马尔可夫更新过程是马尔可夫过程的推广。如果忽略马尔可夫更新过程中的时间变量，就可得到离散时间马尔可夫链。如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。 马尔可夫更新过程是更新过程的推广。状态逗留时间可以看作是受到一个马尔可夫链调制。如果忽略确切的状态或状态固定，即只有一个状态，就可得到更新过程。 本读书报告主要对马尔可夫更新过程和半马尔可夫过程的概念进行了分析，讨论了马尔可夫更新过程和半马尔可夫过程、马尔可夫过程、更新过程的区别与联系，并分析总结了马尔可夫更新过程的基本特性。 一、对相关定义的理解 1、马尔可夫更新过程 随机变量取值于状态空间,是取值的随机变量，并且，则称随机过程是马尔可夫更新过程，如果对于满足 （1） 上式称作“半马尔可夫性”，其含义是：已知现在状态，将来状态与逗留在当前状态的时间的联合分布与过去的历史独立。 马尔可夫更新过程是将连续时间马尔可夫过程的状态逗留时间分布由指数分布推广到一般分布，故马尔可夫更新过程中，序列只具有半马尔可夫性，即在状态转移时刻具有马尔可夫性。 2、与马尔可夫更新过程相联系的计数过程 由教材2.9节知道，更新过程是一计数过程，表示到时刻t的更新次数。那么马尔可夫更新过程的更新次数应该如何描述呢？ 用表示过程在(0,t]到达状态的次数，每访问该状态一次记为一次更新，则是马尔可夫更新过程在状态对应的更新次数。特别地，假设初始状态是,则转移到状态构成一次更新，则意味着每次转移到状态的连续时间间隔是独立同分布的。时间间隔叫作在状态的逗留时间。定义如下函数： （2） 则 （3） 用表示过程在(0,t]内总的状态转移次数，包括从当前状态出发又回到该状态的转移，状态每转移一次记为一次更新，根据更新理论有 （4） 则可以得到 （5） 则是马尔可夫更新过程在状态空间上对应的总的更新次数。 3、马尔可夫更新函数 在教材2.9节中，定义了更新过程的的更新函数为。类似的，在马尔可夫更新过程中，其更新函数为： （6） 将(3)式代入（6）式，得到 （7） 注意，这里是过程到达状态的时刻，即第n次状态转移时刻。 4、半马尔可夫过程 给定马尔可夫更新过程，，令 （8） 称为由马尔可夫更新过程产生的（最小）半马尔可夫过程，其轨道如下图。 由图可见，一个半马尔可夫过程是一个随机过程，其状态变化遵循一个马尔可夫链，而状态变化的时间间隔是随机变量，其分布是一般分布。 值得注意的是：在离散时间马尔可夫过程中，可以把在每个状态的逗留时间看作一个单位时间。在连续时间马尔可夫过程中，在每个状态的逗留时间是服从指数分布的。半马尔可夫过程像连续时间马尔可夫过程一样进行状态转移，但是在每个状态的逗留时间是任意分布的，并且依赖于下一个到达状态，因此，在各个状态转移时刻半马尔可夫过程是马尔可夫过程。 二、几种随机过程之间的区别与联系 1、马尔可夫更新过程和半马尔可夫过程的关系 马尔可夫更新过程和半马尔可夫过程最大的不同是：马尔可夫更新过程是一个二维（包括状态和时间）随机过程，而半马尔可夫是一个随着时间而变化的一维连续参数的随机过程。 半马尔可夫过程不具有马尔可夫性，将来取决于现在的状态和在该状态已停留的时间。但是，在其更新点上半马尔可夫过程是一个马尔可夫链，即具有马尔可夫性。这也是被命名为半马尔可夫过程的原因。 解释： 在半马尔可夫过程中，是其更新点，也称作再生点，即就是状态转移时刻，在已知该时刻过程所处状态的条件下，过程将来发展的概率规律和过去的历史无关。 在马尔可夫过程中，在每个状态的逗留时间服从指数分布，由于指数分布的无记忆性，故任一时刻t都是更新点，也就是说在任一时刻都具有马尔可夫性。但是，在半马尔可夫过程中，在每个状态的逗留时间是一般分布，因此不是所有时刻都是过程的更新点，而只有状态转移时刻是更新点，所以只有在这些更新点上才具有马尔可夫性。 2、半马尔可夫过程和连续时间马尔可夫链的关系 如果半马尔可夫过程在各个状态的逗留时间都服从指数分布，这时就得到一个连续时间马尔可夫链。换句话说，如果逗留时间是指