第五章信源编码(编码定义及定长编码).pptVIP

第五章 信源编码 5.1编码的定义 5.2无失真信源编码 5.2.1定长编码定理 回顾：为什么进行信源编码？ 理论上，信源传送信息所需要的信息率：极限熵H∞（X）或信息率失真函数R（D）. 极限熵H∞（X） ：多符号离散平稳信源实际上就是原始信源在不断地发出符号，随着信源之间的依赖关系（即信源的相关性）变多，信源的实际熵越小（第二章P32-33证明），越趋于H∞（X）。所以H∞（X）是离散平稳有记忆信源平均每发一个符号提供的信息量的最小值。 信息率失真函数R（D）：从允许一定失真的条件下，我们去寻找可以用较小的信息率来传送信息，即去掉某些不必要的成分，这时得到的信息率的最小值是R（D）。 由此可见，极限熵H∞（X）或信息率失真函数R（D）是理论上传送信息的最小值。而实际上，信源发出消息时包含了多余信息，即存在冗余度，冗余度体现了信源输出信号的信息携带效率。 冗余度 定义：衡量信源发出消息时包含了多余信息的物理量 来源： 1.信源符号的相关性。相关程度越大，信源的实际上越小，越趋向于H∞（X） 。 2.信源符号分布的不均匀性。等概率分布时信源熵最大，不均匀分布时，信源熵减小。当各符号之间不存在依赖关系且为等概率分布时，信源实际熵趋于最大熵H0（X） 下面，以英文为例，计算文字信源的冗余度： 首先给出英文字母（含空档）出现概率如下： 下面，首先求得独立等概率情况，即 其