马尔可夫决策理论简介.pdf

公共安全事件的处置，是一个长期、持续、多阶段的过程，环境、资源、事件时刻

都在发生变化.要想达到最佳的处置效果，就必须根据公共安全事件的发展状态来不

断调整决策策略.在不确定的条件下，决策者不仅仅要考虑所做决策的即时效应，同

时也要为将来的决策留出空间和机会.马尔可夫决策过程便是针对其中一类特殊的序

列决策问题而产生和发展的，当前也在公共安全事件处置中得到了越来越多的应用.

本章将初步介绍马尔可夫决策过程的一些相关概念，给出马尔可夫决策过程的一般记

号及定义，并利用一些例子来说明马尔可夫决策过程的应用.

1.1序列决策问题

许多决策问题都需要多次做出