南京工程学院通信工程学院信息论与编码课件第5章 信源编码.ppt

预测编码 实现预测编码，还要考虑3个方面的问题： 预测误差准则的选取；决定预测质量标准 MMSE准则：最小均方误差 PSEM准则：功率包络匹配 ME准则：最大误差 预测函数f的选取；决定预测质量好坏 线性/非线性 预测器的输入数据的选取；决定预测质量好坏 《信息论与编码》 曹雪虹等编著 * 变换编码 原理：从频域上，解除相关性 正交变换 U=ATX 正交变换后，只传送Mn个样值，而将余下的n-M个较小的样值丢弃 问题是：如何选择正交矩阵A，使M值最小，且被丢弃的n-M个取值足够小，以致既能满足最大的压缩率，同时又使误差不超过允许的值。 等同于：正交变换的主要问题是，寻找最佳的正交变换，最大限度地消除信号源之间的相关性。 《信息论与编码》 曹雪虹等编著 * 变换编码 二维信号正交变换后的输出x的协方差阵定义为 输出的协方差阵中只保留主对角线上的部分自相关值，其值随i和j的增大迅速减少，从而只需取Mn个数值。同时，各互相关分量统统为0，即最大限度地消除原来信源间的相关性。 《信息论与编码》 曹雪虹等编著 * 限失真信源编码定理说明 香农第三定理同样是一个指出存在性的定理，至于如何寻找这种最佳压缩编码方法，定理中没有给出。在实际应用中，该理论主要存在以下两类问题： 符合实际信源的R(D)函数的计算相当困难。 首先，对需要对实际信源的统计特性有确切的数学描述，其次，需要符合主客观实际的失真度量。这些都不是很容易的事情。即使有了这些，率失真函数的计算也是相当困难的。 即使求得了符合实际的信息率失真函数，还需要研究采用何种编码方法，才能达到或接近极限值R(D)。 《信息论与编码》 曹雪虹等编著 * 5.4 常用信源编码方法简介 游程编码 在二元序列中，连0段称为0游程 连1段称为1游程 000101110010001 可变换成下列游程序列：3113213 《信息论与编码》 曹雪虹等编著 * 5.4 常用信源编码方法简介 若已知二元序列以0起始，从游程序列很容易恢复成原来的二元序列 游程序列是多元序列，各长度可按哈夫曼编码或其它方法处理以达到压缩码率的目的。 《信息论与编码》 曹雪虹等编著 * 5.4 常用信源编码方法简介 多元序列也存在相应的游程序列 多元序列变换成游程序列再进行压缩编码没有多大意义 游程编码只适用于二元序列，对于多元信源，一般不能直接利用游程编码 《信息论与编码》 曹雪虹等编著 * 游程编码 冗余位编码，——游程编码在多元信源的应用 如下多元序列 x1，x2，…，xm1，y，y，…，y，x m1+1，xm1+2，…x m2，y，y，… 可以用下面序列表示 111，…，100，…，000111，…，111000 x1，x2，…，xm1，x m1+1，x m1+2…x 2，… 1表示信息位，0表示冗余位 《信息论与编码》 曹雪虹等编著 * 算术编码-5 前面讨论的无失真信源编码方法，都是针对单个信源符号的编码，当信源符号之间有相关性时，这些编码方法由于没有考虑到符号之间的相关性，因此编码效率就不可能很高。 解决的办法是对较长的信源序列进行编码，但会遇到与定长编码时同样的问题。而且，采用前面的序列编码需要完全知道联合概率和条件概率，这在场合下也是比较困难的。 《信息论与编码》 曹雪虹等编著 * 算术编码 为了解决这个问题，需要跳出分组码的局限，研究非分组码。 算术编码就是一种非分组编码方法。 其基本思路是：从全序列出发，将不同的信源序列的累计概率映射到[0，1]区间上，使每个序列对应区间上的一点，也就是说，把区间[0，1]分成许多互不重叠的小区间，不同的信源序列对应不同的小区间，可以证明，只要这些小区间互不重叠，就可以编得即时码。 《信息论与编码》 曹雪虹等编著 * 算术编码-3 P(S)把区间[0，1)分割成许多小区间，每个小区间的长度等于各序列的概率p(S)，小区间内的任一点可用来代表这序列 《信息论与编码》 曹雪虹等编著 * 0(P1) P2 P3 P4 P5 …… 1 …… p1 p2 p3 p4 * * 无失真编码 算术编码 算术编码并不是将单个信源符号映射成一个码字，而是把整个信源表示为实数线上0到1之间的一个区间,其长度等于该序列的概率。 在该区间内选择一个代表性的小数，转换为二进制作为实际的编码输出 消息序列中的每个元素都要用来压缩这