信息论基础第24次课_总复习.pptVIP

信息论基础 ——总复习 第2章 信源熵 自信息量： I(ai)= - log p(ai) 信源熵：信源的平均信息量 条件熵： 第2章 信源熵 联合熵： 平均互信息： 第2章 信源熵 最大离散熵定理：若信源中包含n个不同离散消息，则当信源等概率时信源熵H(X)取得最大值log2n 平均互信息I(X;Y)是输入信源概率分布的上凸函数 是信道转移概率分布 的下凸函数。 第2章 信源熵 多符号离散平稳无记忆信源亦称为单符号离散平稳无记忆信源的扩展信源。 N维离散平稳信源 第2章 信源熵 马尔可夫信源： m阶马尔可夫信源： 定长编码定理 定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XL ，若对信源长为L的符号序列进行定长编码，设码字是从m个字母的码符号集合中，选取K个码元组成Y1Y2…Yk…YK 。对于任意ε0，δ0只要满足 则当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小。 反之，若 则译码差错一定是有限值，而当L足够大时，译码几乎肯定出错（译码错误概率近似等于1）。 本章考点 1. 各种熵的计算。如：P69. 2.11; 2. 一阶马尔可夫信源的状态极限概率及极限熵。如：P69. 2.16, 2.17 3. 各种