信息理论基础 第三章 离散信源.pptVIP

定理：马尔可夫信源具有稳态分布的充要条件是存在一个正整数N，使马尔可夫信源的状态转移矩阵 中的所有元素均大于零。 例3-8 有一个马尔可夫链，其状态转移矩阵为： 问：是否存在稳态分布，如果存在求此稳态分布。 解： 由此判断：稳态分布存在 由WP=W以及各状态概率之和为1 得： 和 由平稳信源的熵率（实际熵、极限熵）可得遍历性的马尔可夫信源的熵为： 则m阶马尔可夫信源的熵： 2.遍历性的m阶马尔可夫信源的熵 注意：一般认为，当时间足够长时，遍历的m阶马尔可夫信源视作平稳有记忆信源。 提问：为什么？ 计算： 由遍历性的马尔可夫信源的概念可知，它的每一个状态完全由输出的符号集：A={a1,a2,…ar}唯一确定。 两端同时取对数，则： 两端对Sj和ak1…akm+1取统计平均,然后取负值,则 求遍历性的m阶的马尔可夫信源熵的公式: 其中： 是马尔可夫链的稳态分布,可利用： WP=W和 求解出。 ____表示信源处于状态Sj时发出一个消息符号的平均不确定性 3.举例说明马尔可夫信源熵的计算方法 例3-9: 有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},条件概率为： 求二阶马尔可夫信源的熵。 解:由例7可知状态转移矩阵为： 可知：此信源是遍历性的马尔可夫信源，稳态分布存在 设稳态分布为： 则