信息论 总复习_new课件演示课件.pptVIP

2香农费诺编码 费诺编码步骤如下： a.将概率按从大到小的顺序排列，令 b.按编码进制数将概率分组，使每组概率尽可能接近或相等。 c.给每一组分配一位码元。 d.将每一分组再按同样原则划分，重复步骤b和c，直至概率不再可分为止。 精选 3 哈夫曼编码 a.将信源符号按概率从大到小的顺序排列，令 b.给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位0和1，将这两个符号合并成一个新符号，其概率之和作为新符号的概率，得到(n－1)个符号。 c.将缩减信源符号按概率排列，重复步骤a,b。直至缩减信源只剩两个符号为止。 d.从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 注意3进制编码？ 精选 4 算术编码 算术编码是计算序列的累计分布，用累计分布值表示序列，所以称为算术编码 以二元信源输出序列的编码为例01110 P(0) P(1) F(0) F(1) P(00) P(01) F(01) P(010) P(011) F(011) P(0110) P(0111) F(0111) P(01110) P(01111) F(01111) u对应区间的宽度等于符号序列的概率 精选 算术编码 递推公式编码 P(u=bbbbbbaa)=0.7560.252= F(a)=0, F(b)=0.25 序号 ui P(ui)=H F(ui)=G n(ui) S 0 1 0 0 1 b 3/4 1/4 =0+1*1/4 1 0.1 2 b 9/16 7/16 = 1/4 + 3/4 *1/4 1 0.1 3 b 27/64 37/64 = 7/16 + 9/16 * 1/4 2 0.11 4 b 81/256 175/256 = 37/64 + 27/64 *1/4 2 0.11 5 b 243/1024 781/1024=… 3 0.111 6 b 729/4096 3367/4096=… 3 0.111 7 a 729/16384 3367/4096=… 5 0.11011 8 a 729/65536 3367/4096=… 7 0.1101010 H=HP(ul+1),G=G+HF(al+1) 精选 LZ编码 利用字典编码方法 信源符号A=(a1…aK) 将序列分为不同的段 取最短长度的连续符号构成段，保证互不相同。 先取一个符号分段，若与前面段相同，就再取一个符号，直至序列结束 得到字典表，码字由段号加后一个符号组成。 单符号的码字，段号为0 精选 LZ编码的特点 特点一 编码效率可以接近信息熵的上限。 特点二 不需要事先知道信源的概率分布。 特点三 用一种巧妙的方式使用字典技术。 特点四 文件越小，压缩比例越小；文件越大，压缩比例越大。 LZ编码的应用领域 几乎垄断了整个通用数据压缩领域，如PKZIP、WinZIP、WinRAR、gzip等压缩工具以及ZIP、GIF、PNG等文件格式都是LZ系列算法的受益者。 精选 我们学习了几种信源编码：香农费诺编码、哈夫曼编码、游程编码、算术编码、LZ编码等。 游程编码和算术编码是非分组编码；游程编码是限失真信源编码。本章介绍的都是离散信源变长编码。 优点：提高编码效率； 缺点：需要大量缓冲设备来存储这些变长码，然后再以恒定的码率进行传送；如果出现了误码，容易引起错误扩散，所以要求有优质的信道。 精选 信道容量 C：在信道中最大的信息传输速率，单位是比特/符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。 第3章 信道容量 精选 根据信道中所受噪声种类的不同,可分为随机差错信道和突发差错信道. 在有记忆信道中，噪声干扰的影响往往是前后相关的，错误是成串出现的，一般在编码中我们称这类信道为突发差错信道。实际的衰落信道、码间干扰信道均属于这类信道。有些实际信道既有独立随机差错,也有突发性成串差错，我们称它为混合信道。 精选 求信道容量的方法 当信道特性 p(yj|xi) 固定后，I(X;Y)随信源概率分布 p(xi)的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。 精选 当 n=2 时的强对称离