信息论基础第二章.pptVIP

引理2.2.4 数列 ，若有 ，则 证明：由已知，对任意 则当 时 * 第29页，共68页，编辑于2022年，星期五 定理2.2.3的证明 （1）易知 是关于n递减的，又由于条件熵的非负性，从而 的极限存在。 （2）利用联合熵的链式法则有 对上式两边取极限即得 * 第30页，共68页，编辑于2022年，星期五 系2.2.5 （1）设 为无记忆信源，则熵率 （2）设 为k-阶马尔可夫信源，则 * 第31页，共68页，编辑于2022年，星期五 假设信源字母集的大小为n，易知 对于无无记忆信源来说有 ，这时如果信源概率分布不均匀，则不能最大限度携带信息，即存在冗余。 信息论中常用冗余度来描述信源输出符合携带信息的有效程度。 * 第32页，共68页，编辑于2022年，星期五 定义2.2.1 冗余度＝ 相对冗余度＝ 由定义可知冗余度越低，则信号携带信息的有效性越高，反正有效性约低。 * 第33页，共68页，编辑于2022年，星期五 实际信源中很多都有相当大的冗余度，考虑一个输出26个英文字母的信源 （1）若看作无记忆信源，且看作等概率且无空格，则该信源熵为 试分析此时冗余度？ 例题 * 第34页，共68页，编辑于2022年，星期五 space ? 0.2 ? ? ? ; ? E ? ? ? 0.105 ? ? ? ; ? T ? 0.072 ? ? ; ? O ? ? 0.0654 ? ? ? ; ? A ? 0.063 ? ? ; ? N ? ? 0.059 I ? ? 0.055 ? ? ? ? ; ? R ? ? ? 0.054 ? ? ? ; ? S ? 0.052 ? ? ; ? H ? ? 0.047 ? ? ? ? ; ? D ? 0.035 ? ? ; ? L ? ? 0.029 C ? ? 0.023 ? ? ? ? ; ? U ? ? ? 0.0225 ? ? ; ? M ? 0.021 ? ? ; ? P ? ? 0.0175 ? ? ? ; ? Y ? 0.012 ? ? ; ? W ? ? 0.012 G ? ? 0.011 ? ? ? ? ; ? B ? ? ? 0.0105 ? ? ; ? V ? 0.008 ? ? ; ? K ? ? 0.003 ? ? ? ? ; ? X ? 0.002 ? ? ; ? J ? ? 0.001 Q ? ? 0.001 ? ? ? ? ; ? Z ? ? ? 0.001  * 第35页，共68页，编辑于2022年，星期五 实际上，英文字母出现的频率不同，可在相关密码分析的书中可以找到，资料表明，若不将空格算在内，熵为4.15，若将空格算在内，熵为4.05。 试计算冗余度？ * 第36页，共68页，编辑于2022年，星期五 若把字母间的关系考虑进去，则每个字母的熵更低，若考虑两个字母间的相关关系，即看作马氏信源，则熵率为3.6，贝尔统计8个字母间的关系，即看作7-阶马尔可夫信源，则熵率为2.6。申农估计当考虑100个字母间的关系时熵率只有1。 但是冗余也不是不必要的，冗余的存在为我们提高通讯效率提供了基础。比如mp3能将cd压缩到11%。 因为如果没有冗余，则要求系统不能出任何的错误！冗余的存在提高了抗错能力，比如对赣*师范*院。 因此，冗余的存在，从而对于信号的要求可以降低。 * 第37页，共68页，编辑于2022年，星期五 例2.2.2 对例2.1.1中的马氏信源，计算熵率 * 第38页，共68页，编辑于2022年，星期五 计算例2.1.2中的二阶马氏信源的熵率。 (从状态的角度再研究，见课本) 例2.2.3 * 第39页，共68页，编辑于2022年，星期五 §2.3渐进等分性 考虑一个无记忆信源 ，其中 都互相独立且服从相同的分布 ，记 ，由于信源的无记忆性，有 信源序列的渐进等分性质是大数定律在信息论中的应用，渐进等分性在信源编码问题中有重要应用。 要注意的是 是一个随机变量，因为它是随机向量 的函数。下面来证明它的弱渐进等分性。 * 第40页，共68页，编辑于2022年，星期五 定理2.3.1 对无记忆信源 有 依概率收敛于 要正确理解这里的 ，