模拟退火算法2.pptVIP

Markov链;定义1(Markov链)：随机过程 被称为Markov链， 如果对任意的 ，有;2 转移概率;(2);显然，当 时， 。此外规定; = P; 2. 状态的分类及性质;证明 (3). 先证 。 由 知，存在 使得;例 1. (赌徒破产模型) 系统的状态是 到 ，反映赌博者A在赌博期间拥有的钱数。当他输光或拥有钱数为 时，赌博停止；否则他将持续赌博。假设每次他以概率 赢得1， 以概率 输掉1。;例 2. (带有一次赞助的赌徒破产模型) 设例 1中当赌徒输光时将获得赞助1让他接着赌下去，那么转移矩阵为：;对一个马氏链，我们定义如下的条件概率：;证明：设 是从状态 i 首达状态 j 的时间, 则;定义了首达概率，下面我们定义首达时间。;下面的结论给出了有限步到达与互通的关系;我们做如下定义：如果 ，则称状?? i 是常返的，否则称状态 i 是非常返的。 如果状态 i 是常返的，定义它的平均返回时间为：;下面我们看一个例子。;中的 f11 是否等于1。;类似的，可计算得;所以状态1是正常返的。根据定理 6,每个状态都是常返的。; 1. 有限齐次Markov链的遍历性质;有限指Markov链的状态集合 中有有限个元素。;定理 ２中的条件是充分但不是必要的，如下例所示：;下面我们验证定理 7。