马尔科夫预测及决策.pptVIP

马尔科夫预测与决策法 小组成员：于文豪 张薇 刘思伯 梅成波 杜照玺 马尔科夫预测与决策 1.基本原理概述 2.马尔科夫预测与决策 3.案例分析 第一节 基本原理 一、基本概念 1.随机变量 、 随机函数与随机过程 一变量x，能随机地取数据（但不能准确地预言它取何值），而对于每一个数值或某一个范围内的值有一定的概率，那么称x为随机变量。 假定随机变量的可能值xi发生概率为Pi 即P(x = xi) = Pi 对于xi的所有n个可能值，有离散型随机变量分布列： ∑Pi = 1 对于连续型随机变量，有 ∫P(x)dx = 1 在试验过程中，随机变量可能随某一参数（不一定是时间）的变化而变化. 如测量大气中空气温度变化x = x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。而以时间t作参变量的随机函数称为随机过程。 也就是说：随机过程是这样一个函数，在每次试验结果中，它以一定的概率取某一个确定的，但预先未知的时间函数。 2、马尔科夫过程 随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻tto时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。 即是：ito为确知,it(tto)只与ito有关，这种性质为无后效性，又叫马尔科夫假设。 简例：设x(t)为大米在粮仓中t月末的库存量，则 x(t) = x(t―1)—y(t) +G(t) t月的转出量 第t―1月末库存量 ,G(t)为当月转入量 x(t)可看作一个马尔科夫过程。 3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为马尔科夫链。例：蛙跳问题 假定池中有N张荷叶，编号为1，2，3,……,N，即蛙跳可能有N个状态（状态确知且离散）。青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立） 写成数学表达式为： P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1) ? =P( xt+1 = j | xt = it ) 定义：Pij = P( xt+1 = j | xt = i) 即在xt = i的条件下，使 xt+1 = j的条件概率，是从 i状态一步转移到j状态的概率，因此它又称一步状态转移概率。 由状态转移图，由于共有N个状态，所以有 二．状态转移矩阵 1.一步状态转移矩阵 系统有N个状态，描述各种状态下向其他状态转移的概率矩阵 P11 P12 …… P1N ?定义为 P21 P22 …… P2N : : : PN1 PN2 …… PNN