信息论基础第五章 信源编码.ppt

上述最佳的K-L变换实际上很少应用而仅将它作为理论上最优值的一个参考标准,其原因有 1. 最佳A矩阵显然与信源统计特性φ 密切相关,不同的φ 值应有不同的最佳A 矩阵,这显然是不现实的. 2. K-L变换目前尚没找到相应的快速算法.正因为实现最佳不现实,因此人们将眼光转向准最佳变换,何谓准最佳变换并没有确切的定义,而只是指能找到一类在数学上经线性代数中相似变换后的Jordan标准型.即: 变换编码 （续） 在上,下对角线区域内仅会有少数不为0的元素1.目前已找到一批满足上述特性的准最佳变换(不唯一). 大致可以划分为两类： 变换编码 （续） 可见，由线性代数理论，由相似变换，总能找到一非奇异矩阵A，使 ，并称 与 相似，同时由于变换后的Jordan型无确切定义，因此可以找到一批满足上述准最佳变换。 下面将分别介绍这些准最佳变换， 设U为信源消息矩阵，X为经变换后的信号矩阵，在一般情况下有： 原则上，A与B可以是不同类型矩阵，实际上差不多都是同一类型、同一阶次矩阵，即A=B。由于上述变换是随机矩阵变换，所以通常给出其二阶矩形式的协方差矩阵的等效形式： 变换编码 （续） －－正变换 －－逆变换 －－正变换 －－逆变换 1）离散付氏变换 DFT: 这里： 其中 下面讨论不同形式A: 变换编码 （续） －－正变换 －－逆变换 变换编码 （续） 变换编码 （续） 例：以n=4 DFT为例；若已知 显然，它是一个非常好的准最佳变换，互相关均为零，自相关由大而小递降型。但是，也可以看出，ADF与Φu密切相关，若换一个Φu类型，就不会有这么好的结果。 2）离散沃尔什—哈德玛变换WHT 由于沃尔什—哈德玛矩阵由许多类似之处,比如他们都是以1和-1为元素，其变换运算只有加减而没有乘除，且两类矩阵之间的关系是简单的初等变换关系。所以我们将两者归为一类来研究。并首先从Hardmard矩阵开始： 这里： 5）离散余弦变换DCT： 由于前面在付氏变换中引入了复数，带来了运算上的不方便，DCT正是针对这一缺点而进行的改进。根据离散付氏变换的公式，只需将信源数据长度再扩张一倍，并保证对称性即可求得DCT。DCT根据对称性不同还可划分为两类，（奇）ODCT与（偶）EDCT，前者将数据扩展为2N-1并以M=0为中心点，两侧各N-1个；后者将数据扩展为2N，并以M=0与M=1之间为中心点。 且： 以上各类离散准最佳变换编码各具特色。如果仅从解除相关性的性能上看： KLT DCT（平稳马氏链） DFT和ST WHT HrT 但是如果从复杂性,计算复杂度上来看,上述顺序正好相反: HrT WHT DFT和ST DCT KLT 实用化与纯理论上的要求之间存在着一定差异： 首先：实际比理论要复杂，理论分析时往往认为信源平稳遍历的，是遵从某一个已知分布特征，……等等，实际上是办不到的，最多是近似上大致满足; 其次：理论上追求是性能越优良越好，追求最佳，实际上是要更侧重可实现性，追求性能与可实现性之间的折衷，追求准最佳。 第三：理论上往往分析各种单一最佳化方法与性能，实际上往往是实用主义，采用多种组合准最佳化。这一点，以后在图像信源编码中体现更明显。 实用型信源编码 下面，我们分别讨论三类代表性信源： 1） 文件传真信源（无失真信源编码）； 2）语音信源（限失真信源编码） 3）图像信源（限失真信源编码） 实用型信源编码 （续） 1 文件传真信源编码： 关于文件传真的一些有关知识： （1）CCITT建议的文件传真的两种分辨率： A 行分辨率：1728相素/行（即8样点/mm）， 列分辨率：3.85行/mm； B 行分辨率：8样点/mm， 列分辨率：7.7行/mm； （2）我国标准： A 行分辨率：8样点/mm， 列分辨率：4行/mm； B 行分辨率：8样点/mm， 列分辨率：8行/mm； 以上是对A4文件制定的（210