马尔科夫信源及其信源熵五.pptVIP

第三章 信源及信源熵 主要学习内容 一、信源的分类及其数学模型 二、离散单符号信源、离散多符号信源的概念 及其信源熵 三、离散平稳无记忆信源、离散平稳有记忆信 源的概念及其信源熵 四、马尔科夫信源及其信源熵 五、信源的相关性、利用率和剩余度 1、马尔科夫信源的概念及其数学模型 马尔科夫信源：具有马尔科夫性的信源。 马尔科夫性：在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早时候发出的符号无关。 数学模型： 这里X1=X2=X3=···=X，下标表示时刻。 2、马尔科夫信源的熵率求法 对于m 阶马尔科夫信源，利用条件熵的极限求熵率，同时，利用了信源的马尔科夫性和信源的平稳性。 (1)状态转移概率 例3.4 例3.4（续）状态转移图 例3.5 例3.5（状态转移图） （2）状态转移概率与条件熵的关系 说明：P( Si )为状态极限概率 平稳遍历的马尔科夫信源 平稳遍历性的直观意思是：不论起始状态是哪个状态 si，当转移步数 k 足够大时，都能转移到状态 sj ，并且转移概率pij(k)都近似等于某个常数Wj。 这便意味着，在初始时刻可以处在任意的状态，然后状态之间可以任意转移，经过足够长的时间后，信源处于什么状态已经与初始状态无关。 这时状态的概率分布称为状态的极限概率分布或平稳分布、稳态分布。 定理A.1 平稳遍历的马尔科夫信源的极限熵 解：首先求极限概率分布 解（续） 再求熵率（极限熵） 最后还可以求信源发出的符号的极限概率 总结 1、马尔科夫信源的概念及其数学模型 2、遍历马尔科夫信源的熵率求法 * * 如何计算条件熵？ 马尔可夫信源 马尔可夫链 设一个二元一阶马尔可夫信源，信源符号集为 ,输出符号的条件概率为 用状态转移图来描述该信源。 设一个二元二阶马尔可夫信源，信源符号集为 ，输出符号的条件概率为 求该信源的状态转移图。 表明：m阶马尔科夫信源的条件熵可以通过 状态极限概率和状态转移概率来求得。 问题是：什么是状态极限概率呢？怎么求？ 此定理给出了在平稳遍历的马尔科夫信源中， 其状态极限概率分布的求法。 是满足方程组 和 的唯一解。 其中： 在马尔科夫链的极限概率分布存在时， P为状态转移概率矩阵,p(si)为状态极限概率分布。 例3.6 求二阶马尔可夫信源的极限熵。 状态转移概率、状态转移图 设状态的平稳分布为 利用方程组 和 得到 符号的平稳概率分布为： 如果不考虑符号间的相关性，则由符号的平稳概率分布可得信源熵 H(X) = 1比特/符号，而考虑符号间的相关性后，该信源的熵率 0.80 比特/符号