信息论与编码第四章_3.pdfVIP

第第四四章章 无无失失真真信信源源编编码码 高传输率与抗干扰是一对矛盾 ，但可以从理论上证明， 至少存在某种最佳 编码或信息处理方法，能解决这一矛盾。 §4.1 编码器 变换 （数学规则）： 将信源符号用由码元组成 序列 （长度为li）来表示 若通过一个二进制信道进行传输，为使信源适合信道 传输，将用 0,1符号序列表示，码符号集为 ，序列与si 对应形式可有多 种，得不同 码。 第1页，共26页。 码码的的基基本本分分类类：： 固定长度码 （等长码） 变长码：各码字的码长不等 非奇异码：码中所有码字都不相同 奇异码：有同码 码码的的NN次次扩扩展展：： 码 的二次扩展码为： 同价码：每个码符号 （元）所占的传输时间都相 同 第 页，共 6页。 §4.2 等长码和等长信源编码定理 实实现现无无失失真真编编码码的的条条件件：： 1、信源符号与码字一一对应 2、 意一串有限长的码符号序列与信源s的符号序列也是一 一对应，即N次扩展后仍满足一一对应关系。 同时满足上述条件称为唯唯一一可可译译码码 有重码，非唯一可译码 等长非奇异码一定单义可译 第3页，共26页。 等等长长编编码码条条件件： ，满足此条件，才有可能无重码 （非奇异）；扩展后： ：平均每个信 符号所需要的码符号 （元）个数 考虑到符号出现的概率以及符号之间的依赖性 。再去除一些 无效字符组合，扩展信 中的符号总数 所需编码的码 字个数可大大下降。 设离散无记忆信 ： 第4页，共26页。 由切贝雪夫不等式： ⑴ 方差为定值 表明 依概率收敛于 ⑵ ⑶ ⑷ ⑸ ⑹ ⑺ 上 ⑻ ⑼ 下 ⑽ 第5页，共26页。 我们可以只对集G中MG个信源序列进行一一对应的等长编码，这就 要求码字总 不小于MG就行，即 ⑾ ⑿ 满足式⑾的条件下， 时，译码错误概率 但当 ⒀ 由MG的下界式⑽可知