信息论基础练习与思考课件.pptxVIP

当你为错过太阳 而流泪时，你也将错 过群星了。 10/1－－1/2023泰戈尔 1 第五章 信源编码 n 信源编码：以提高通信有效性为目的的编码。通常通过 压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符 号的平均比特数或信源的码率。即同样多的信息用较少的码率 传送，使单位时间内传送的平均信息量增加，从而提高通信的 有效性。 n 信道编码： 是以提高信息传输的可靠性为目的的编码。 通常通过增加信源的冗余度来实现。采用的一般方法是增大码 率/带宽。与信源编码正好相反。 n 密码： 是以提高通信系统的安全性为目的的编码。通常通 过加密和解密来实现。从信息论的观点出发， “加密”可视为增 熵的过程， “解密”可视为减熵的过程。 第五章总结 10/11/2023 2 第五章 信源编码 第五章 信源编码 香农编码 n 设离散无记忆信源 n 二进制香农码的编码步骤如下： 口 将信源符号按概率从大到小的顺序排列，为方便起见， 令 p(x1)≥ p(x2)≥…≥ p(xn) 口 令p(x0)=0，用pa(xj)，j=i+1表示第i个码字的累加概率， 则 10/11/2023 3 Ø 确定满足下列不等式的整数ki ，并令ki为第i个码字的 长度 －log2 p(xi)≤ki1 － log2 p(xi) . 将pa(xj) 用二进制表示，并取小数点后ki 位作为符号xi 的编码。 第五章 信源编码 香农编码 10/11/2023 4 费诺编码也是一种常见的信源编码方法。编码步骤如下： n 将概率按从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xn) n 按编码进制数将概率分组，使每组概率尽可能接近 或相等。如编二进制码就分成两组，编m进制码就分 成m组。 n 给每一组分配一位码元。 n 将每一分组再按同样原则划分，重复步骤2和3，直 至概率不再可分为止。 10/11/2023 5 费诺编码 第五章 信源编码 p(x1)≥ p(x2)≥…≥ p(xn) . 给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和 “1”，将这两个信源符号合并成一个新符号，并用这两个最小的 概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源 符号的新信源。称为信源的第一次缩减信源，用S1表示。 . 将缩减信源S1 的符号仍按概率从大到小顺序排列，重复步骤2，得 到只含(n－2)个符号的缩减信源S2。 . 重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个 符号的概率之和必为1。然后从最后一级缩减信源开始，依编码 路径向前返回，就得到各信源符号所对应的码字。 二元哈夫曼编码 n 将信源符号按概率从大到小的顺序排列，令 10/11/2023 6 第五章 信源编码 M元哈夫曼编码 第五章 信源编码 n 在编m进制哈夫曼码时为了使平均码长最短，必须使最后一步 缩减信源有m个信源符号。非全树时，有s个码字不用