运筹学学习资料-ch9决策论.pptVIP

则称 具有马尔可夫性．随机过程称为马尔可夫过程。 所有可能的全体取值称为过程的状态空间。 若马氏过程的状态空间为非负整数集E＝{0，1，2，…}，称为马氏链。例如，今天下雨这一状态用“ 0”表示，不下雨用“ 1”表示，则状态空间为 E＝{0，1}。天气变化过程符合马Markov性。 11.5.2 转移概率 记Pij为从状态X(n)=i转移到下一个状态X（n+1）=j 的概率，一步转移概率矩阵为 11.5马尔可夫决策 Markov Decision 【例11.9】有3家电器公司分别生产三种不同牌子的空调。各自开展广告攻势促销本公司产品。各公司所占的市场比例是随时间变化的。 X＝{Xn，n≥0}构成一个以E＝{1,2,3}为 状态空间的Markov链。假设在任一时刻，公司1能留住它的1/2的老顾客，其余的则对半购买另两个公司的产品；公司2的一半顾客能留下，其余转向公司1；公司3有3/4能留下，其余流向公司2。Markov链的转移概率矩阵和转移图： ① ② ③ 1/2 1/4 1/4 1/2 1/2 1/4 3/4 11.5马尔可夫决策 Markov Decision 求n期后公司i的市场占有率，n→∞时的市场占有率。 记Pj(n)=P(Xn=j)为Markov链X时刻n处于状态j的概率，P为初始分布。 【定