信息论基础第二章.pptVIP

引理2.2.4 数列 ，若有，则 证明：由已知，对任意 则当时*第29页，共68页，星期日，2025年，2月5日定理2.2.3的证明 （1）易知是关于n递减的，又由于条件熵的非负性，从而的极限存在。 （2）利用联合熵的链式法则有 对上式两边取极限即得*第30页，共68页，星期日，2025年，2月5日系2.2.5 （1）设为无记忆信源，则熵率 （2）设为k-阶马尔可夫信源，则*第31页，共68页，星期日，2025年，2月5日 假设信源字母集的大小为n，易知 对于无无记忆信源来说有，这时如果信源概率分布不均匀，则不能最大限度携带信息，即存在冗余。 信息论中常用冗余度来描述信源输出符合携带信息的有效程度。*第32页，共68页，星期日，2025年，2月5日定义2.2.1 冗余度＝ 相对冗余度＝ 由定义可知冗余度越低，则信号携带信息的有效性越高，反正有效性约低。*第33页，共68页，星期日，2025年，2月5日 实际信源中很多都有相当大的冗余度，考虑一个输出26个英文字母的信源 （1）若看作无记忆信源，且看作等概率且无空格，则该信源熵为 试分析此时冗余度？例题*第34页，共68页，星期日，2025年，2月5日space?0.2???;?E???0.105???;?T?0.072??;?O??0.0654???;?A?0.063??;?N??0.059

I??0.055????;?R???0.054???;?S?0.052??;?H??0.047????;?D?0.035??;?L??0.029

C??0.023????;?U???0.0225??;?M?0.021??;?P??0.0175???;?Y?0.012??;?W??0.012

G??0.011????;?B???0.0105??;?V?0.008??;?K??0.003????;?X?0.002??;?J??0.001

Q??0.001????;?Z???0.001

*第35页，共68页，星期日，2025年，2月5日 实际上，英文字母出现的频率不同，可在相关密码分析的书中可以找到，资料表明，若不将空格算在内，熵为4.15，若将空格算在内，熵为4.05。 试计算冗余度？*第36页，共68页，星期日，2025年，2月5日 若把字母间的关系考虑进去，则每个字母的熵更低，若考虑两个字母间的相关关系，即看作马氏信源，则熵率为3.6，贝尔统计8个字母间的关系，即看作7-阶马尔可夫信源，则熵率为2.6。申农估计当考虑100个字母间的关系时熵率只有1。 但是冗余也不是不必要的，冗余的存在为我们提高通讯效率提供了基础。比如mp3能将cd压缩到11%。 因为如果没有冗余，则要求系统不能出任何的错误！冗余的存在提高了抗错能力，比如对赣*师范*院。 因此，冗余的存在，从而对于信号的要求可以降低。*第37页，共68页，星期日，2025年，2月5日例2.2.2 对例2.1.1中的马氏信源，计算熵率*第38页，共68页，星期日，2025年，2月5日 计算例2.1.2中的二阶马氏信源的熵率。(从状态的角度再研究，见课本)例2.2.3*第39页，共68页，星期日，2025年，2月5日§2.3渐进等分性 考虑一个无记忆信源，其中都互相独立且服从相同的分布，记 ，由于信源的无记忆性，有 信源序列的渐进等分性质是大数定律在信息论中的应用，渐进等分性在信源编码问题中有重要应用。要注意的是是一个随机变量，因为它是随机向量的函数。下面来证明它的弱渐进等分性。*第40页，共68页，星期日，2025年，2月5日定理2.3.1 对无记忆信源有 依概率收敛于