数字通信原理信息论基础.pptVIP

2010CopyrightSCUTDTPLabs*第四章信息论基础离散无记忆信源(DMS)的有损等长编码(续)－典型序列集：满足下列条件的序列的集合称之。其中，通常是一个很小的数。－非典型序列集：典型序列集的补集称之。典型序列集和非典型序列集构成了序列所有组合构成符号组的空间。第61页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础离散无记忆信源(DMS)的有损等长编码(续)信源划分定理：任给，当J足够大时，有即有：典型序列出现的概率：若则即有：典型序列趋于等概分布。典型序列的数目：第62页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础离散无记忆信源(DMS)的有损等长编码(续)典型序列的出现概率：即：典型序列集为高概率集；非典型序列集为低概率集。第63页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础离散无记忆信源(DMS)的有损等长编码(续)典型序列集在整个序列空间中所占的比例：通常取值很小，满足因此说明虽然典型序列集是一个高概率集，但在整个序列空间中可能只占很小的比例；如果容许一定的失真，只对典型序列编码，对非典型序列不予编码传输，则可大大提高传输的效率。典型序列非典型序列第64页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础离散无记忆信源(DMS)的有损等长编码(续)示例：已知二元信源信源的熵为：若取所有的序列构成的集合为第65页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础示例(续)：由：(1)若取平均信息量落在该范围内的序列为如果要无失真地传输原来的全部序列，采用二进制编码的话，需要3比特；如仅传输典型序列，只需2比特。第66页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础示例(续)：(1)若取平均信息量落在该范围内的序列为如仅传输典型序列，同样也只需2比特。第67页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础编码速率假定信源输出按照J个符号构成的序列编码编码输出可能获得的编码输出的码字数为相应的比特数为编码速率R定义为：若采用二进制编码，则有第68页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础编译码传输模型译码错误概率定义为定义4.5.4可达速率给定信源和编码速率R，对任意的若存在和编译码方法：、使当时，有则该编码速率称为可达的反之称速率是不可达的。第69页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础定理4.5.5若，则速率R是可达的；若，则速率R是不可达的。该定理说明，若，则存在编码方法，当J足够大时，只需对典型序列进行编码，可使编码误差足够地小。第70页，共102页，星期日，2025年，2月5日2010CopyrightSCUTDTPLabs*第四章信息论基础在满足一定的译码错误概率的条件下，若只对典型序列编