信源编码及信道编码1材料.pptVIP

-*/67- 3.5.2 变换编码 为了去除信源符号之间的相关性，通常将信源符号序列划分为较长的分组，然后对每个分组进行统一的编码。这仅仅是去除相关性的最简单的一种方法。还可以通过某种数学变换来去除信源符号之间的相关性。 什么是变换编码： 将信源符号经过数学变换后再进行编码 通过变换来解除或减弱信源符号间的相关性 再将变换后的样值进行标量量化或采用对于独立信源符号的编码方法，以达到压缩码率的目的。 -*/67- 3.5.2 变换编码 常用的数学变换有： 傅里叶(Fourier)变换 小波(Wavelet)变换 沃尔什- 哈达玛(Walsh-Hadamard)变换 K-L(Karhunen-Loeve)变换 余弦变换 正弦变换等等。 其中，K-L变换去相关性最好，但算法复杂、实现困难；而离散余弦变换(DCT)的性能接近K-L变换，也容易实现，被选为众多图像压缩编码技术标准的基本算法。 -*/67- 3.5.3 预测编码 预测编码的概念最早是在1955年提出的，它是目前得到广泛应用的一种实用的熵压缩树码。 原理 在预测编码的编码器和译码器中都存储有过去的符号值，并以此来预测或估计未来符号的值； 编码器的输出不是信源符号本身，而是实际信源符号与预测值之间的差值； 在译码端，译码器将接收到的这一差值与译码器的预测值相加，从而恢复信源符号。预测编码的编译码过程如图所示。 -*/67- 3.5.3 预测编码 预测编码的编译码过程如图所示。 预测编码器 预测译码器 -*/67- 练习题 什么是信源和信道? 什么是信息熵? 为什么要进行信源编码? 什么是无失真信源编码? 什么是限失真信源编码? 某离散信源的信源集合S共有6个符号，即S={e，A，m，g，T，G}，它们出现的概率分别为P(e)=１/8， P(A)= 1/4， P(m)=1/4， P(g)=1/8， P(T)=１/8， P(G)=1/8 ，每个符号的出现都是独立的。该信源发出的消息为GeTmeATTAG，求 此消息的自信息是多少？ 在此消息中平均每个符号携带的信息量是多少？ 从信息论观点看，实际的信源若不经过信息处理，即信源编码，信源会存在大量的统计多余的成分，这一部分信息完全没有必要通过信道传送给接收端，因为它完全可以利用信源的统计特性在接收端恢复出来。信源编码的任务是在分析信源统计特性的基础上，设法通过信源的压缩编码去掉这些统计多余成分。这也就是为什么要在通信原理中特别加上信源编码这一章的主要原因。 有记忆信源是指消息序列中前、后消息间不满足统计独立的条件，实际信源一般均属此类。但是描述这类信源比较困难，特别是序列消息间记忆长度L很大时，需要掌握全部记忆区域内L维的概率统计特性。在实际处理时，往往可以作进一步简化，特别是当消息序列中任一个消息仅与前面一个消息有直接统计关联，或者推而广之，消息序列中K个消息组成的一个消息状态仅与前面K个消息组成的前一消息状态有直接统计关联时，称该信源为一阶马氏链信源。进一步，若这类一阶马氏链信源又满足齐次与遍历的条件，这里齐次是指消息的条件转移概率随时间推移不变，即与所在时间位置无关；这里的遍历则是指当转移步数足够大时，序列的联合概率特性基本上与起始状态概率无关。在这种特殊情况下描述与分析可以进一步大大减化. 信源所发出的符号序列的概率分布与时间的起点无关。这种信源称为多符号离散平稳信源。 例：天气预报 随机数据的概率密度函数:表示瞬时幅值落在某指定范围内的概率 例：天气预例：电压、温度等。报 概率倒数的对数 如果有两个随机变量 X 和 Y ，它们彼此是统计独立的，即 X 的概率分布为 P(x1),P(x2),..., P(xn)］, 而 Y的分布概率为 ［P(y1), P(y2),... ,P(ym) 信源冗余度是信源信息处理、信源编码的理论依据。 一是信源符号间的相关性，相关程度越大，符号间的依赖关系越长，信源的实际熵越小 另一方面是信源符号分布的不均匀性使信源的实际熵越小。当等概率分布时信源熵最大 为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。 公式(7.3.23)表示信源从统计特性上看的相对剩(冗)余度。一般说来，信源效率η越低，信源相对剩(冗)余度就越大，就越有必要对信源进行统计信息处理，采用信源编码、数据压缩也就越有必要。因此，可以认为信源的相对剩(冗)余度是信源编码和数据压缩的理论基础。 从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。 但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。 信源编码是减少或消除信源的剩余度