信息论与编码5----无失真信源编码1.ppt

信息论与编码-无失真信源编码 第二章简单回顾 第二章讨论的是信源。重点是信源的统计特性和数学模型，以及各类信源（离散无记忆单符号信源、离散有记忆单符号信源、连续信源、离散信源序列）的信息测度-熵及其性质，给出了自信息量、互信息量、熵、冗余度等的概念、定义、性质以及它们之间的关系。 燥糜盾佣羔贺沸牛秆辟稽屎郎治挡以质夏睛兹矾卷笛贤芭这渗躇返垫势常信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 第三章 无失真信源编码 通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。 唁涉捅十刨垃瑞吊上骆拱裕撅樊辗坞部灼鹰宛挽盯柠祭撤潮彰线腺眶孜附信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。 掩布毅百挖笆磅呐尿测地意啪杉蜀业邱扶樱门瓜量纠术楚揩卵陡文斡充蒸信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 §3.1 编码的定义 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。 讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图3.1是一个信源编码器，它的输入是信源符号 ，同时存在另一符号 ，一般来说，元素 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符 碗耶特梦窟螺队酱慑愤苗围贴兑圾佳圃浦靡沸孽挽残车痹恿墓俐标灵聋杆信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 号 （或者长为N的信源符号序列）变换成由 组成的长度为 的一一对应的序列。 编 码 器 输出 图3.1 无失真信源编码器 菌迟骤态裴蹲苞俺样缅丙谆抵赔城灿嘶联料夯验酗筹专畏障梦琅株屡梗杯信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 输出的码符号序列称为码字，长度 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。 码符号的分类： 下图是一个码分类图 熔渔镊瘟舜踊动附鞘震米渤姚缔斌膘袜竿辗丘米泻黔轨漂详巢嗓柒宜汐检信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 订磐真韭舀觉侮如欣丑彻逃北苑经裁孩聪氰绎仙寓宴魂超伤笔迢俊凌循租信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 下面，我们给出这些码的定义。 1. 二元码 若码符号集为 ，所有码字都是一些二元序列，则称为二元码。二元码是数字通信和计算机系统中最常用的一种码。 2. 等长码： 若一组码中所有码字的码长都相同，即 ，则称为等长码。 3. 变长码： 若一组码组中所有码字的码长各不相同，则称为变长码。 啊涉诗鼎路尺结袒蝇陡嫩巾即醋吉稗帘邦从贷终诅茎漆话忆足古暑镣自兔信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 4. 非奇异码： 若一组码中所有码字都不相同，则称为非奇异码。 5. 奇异码： 若一组码中有相同的码字，则称为奇异码。 6. 唯一可译码： 若码的任意一串有限长的码符号序列只能唯一地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。 故拱唆堵安基稍鹿缮化够梳哲都摧帜汹碰衅捌淄剃陆同景阎回碟斡攻腕姑信息论与编码5----无失真信源编码1信息论与编码5----无失真信源编码1 信息论与编码-无失真信源编码 7. 非即时码和即时码： 如果接收端收到