应用随机过程第10篇- 龚光鲁版.pdfVIP

龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2004 第 10章 隐马氏模型 （Hidden Markov Model,HMM）及其应用 １． 熵与相对熵 １. 1离散分布的熵与相对熵 熵的概念出自 C.Shannon.引进这个指标的目的在于刻画一个离散分布(一个离散随机 变量)或一个分布密度(一个连续型随机变量)的不确定性的大小.也就是说知道了此随机变量 的取值所获得的信息的大小. 定义１０．１ 对于离散分布p (p , L, p ,L) ,我们定义它的熵为 1 n H(p)= . p i ln p i i 又定义分布p关于分布q (q ,L, q ,L) 的Kullback- Leibler相对熵为 1 n p i h（p,q）= p ln . i i qi 命题１０．２ 相对熵h（p,q）≥0，而且h（p,q）=0,当且仅当p =q时成立等号. D 证明 [0, ) 上函数g (t ) t 1 ln t 在t 1时恒正 (这一结论可由g的导数直接可以看 qi qi qi p i qi 出),且g (1) 0 ． 取t ，于是ln ≤ -1,即ln 1 ，而且等号仅当 p i p i p i qi p i p i 1时成立．从而有 qi p i qi p i ln p i (1 ) 0 ． i qi i p i 所以结论成立． 这个命题表明，相对熵在相当程度上表达了 p与q的差别：当p=q时，h（p,q）=0.而 当所有的p 都与q 接近时，h（p,q）就很小.从而 h（p,q）可以看成 p与 q之间的一种 i i “准距离”.这里我们之所以称它为准距离，是因为它既不对称 (即 h（p,q） h（q,p）)， 也不满足三角形不等式。所以不满足第9章中的距离公理. 例 １０．３ (有限个值的分布的熵) 分布p (p 1, L,p N ) 的熵满足 H(p)= p i ln p i ln N . i N N 且等号当且