多媒体通信lecture03.pptVIP

第03讲 数据压缩的基本理论 3-1 概述 什么是数据压缩 数据压缩以最少的数码表示信源所发出的信号。 数据压缩的分类 无损压缩 可逆，完全恢复 例：文本压缩 有损压缩 近似恢复，不影响主观性能 压缩效率高 例：图像、语音等 图像信息中存在的冗余类型 空间冗余 时间冗余 信息熵冗余 结构冗余 知识冗余 视觉冗余 听觉冗余 图像信息中存在的冗余类型 空间冗余 时间冗余 信息熵冗余 针对数据信息量而言，熵为下限 结构冗余 知识冗余 视觉冗余 听觉冗余 其它冗余 第一代图像压缩编码技术 基于波形的编码，通过信号分析的方法来消除数据中的冗余 国际标准有JPEG、MPEG1、H.261、H.263等 3-2 数据压缩的理论依据 信息论 Shannon(香农/仙农)创立的信息论对数据压缩有极其重要的指导意义。 （1）数据压缩的理论极限 （2）数据压缩的基本途径 离散信源的信息熵 信源 信源被抽象为一个随机变量序列（随机过程）。 如果信源输出的随机变量取值于某一连续区间，就叫做连续信源。比如语音信号X(t)。 如果信源输出的随机变量取值于某一离散符号集合，就叫做离散信源。比如平面图像X(x,y)和电报。 离散信源 可以看到：熵的大小与信源的概率模型密切相关 信源的相关性与序列熵的关系 如果随机序列中各个变量独立具有相同的概率分布，则称为简单离散信源(平稳的)。 如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平稳信源，否则称为离散有记忆平稳信源。 结论： 3-3 信息率与失真理论简述 通信系统的一般模型 设离散无记忆信源： 对应于一对（u,v），定义一个非负函数： d(ui,vj)≥0, i＝1，2，…，n; j＝1，2，…，m  称此函数为失真函数（或称单个符号失真度）。它用来测度信源发出一个符号ui，而接收端收到一个符号vj时所引起的误差或失真。 由于信源U有n个符号，而接收变量V有m个符号，所以d(ui,vj)就有n×m个，这n×m个非负的函数可以排成矩阵形式，即： 失真函数可有多种形式，但应尽可能符合信宿的主观特性,即主观上的失真感觉应与d(ui,vj)的值相对应。D越大，所感觉到的失真也越大，而且最好成正比。当ui＝vj时，d应等于零，表示没有失真，当ui≠vj时，d为正值。常用失真函数有： 例： 信源U＝{0,1,2},接收变量V＝{0,1,2},失真函数为d(ui,vj)＝(ui－vj)2,求失真矩阵。 平均失真 因为信源U和信宿接收量V都是随机变量，因此单个符号失真度d(ui,vj)也是随机变量。定义传输一个符号引起的失真为平均失真，即信源平均失真： 从单个符号失真度出发，可以定义长度为N的信源序列的失真函数和平均失真度。信源序列失真度（失真函数）： N维信源符号序列的平均失真度： 若平均失真度 不大于所允许的失真D，即： 信息率-失真函数 限失真信源编码定理 在实际应用中，该定理主要存在以下两大类问题: 3-4 取样频率的转换 整数比率转换 分数比率转换和变比率转换 作业 1. 简述信息量与熵的概念，并写出它们之间的关系式 2. 设离散信源输出2个符号的序列，这2个符号从符号集A={0,1}中随机地选取，并且p(1)=0.8,p(0)=0.2 (1)若这2个符号的条件概率为p(0/1)=0.1和p(1/0)为0.4，求该信源的序列熵 (2)若该信源是无记忆的，求该信源的序列熵，并与(1)的结果进行比较。 则单个信源符号平均失真度：  N维信源序列的保真度准则是：平均失真度不大于允许失真ND，即： 保真度准则 在信源给定，又定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。满足保真度准则的条件： 寻找平均互信息量I(U；V)的最小值，也就是在 条件 下，信源必须传输的最小平均信息量。即 ? 式中：BD——所有满足保真度准则的所有可能的集合。 设R(D)为离散无记忆信源X的信息率失真函数，R为信宿传输率，则当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D＋ε，ε为任意小的正数；反之，若RR（D），则无论采用什么样的编码方法，其译码失真必大于D。 如果是二元信源，对于任意小的ε0，每一个信源符号的平均码长满足如下公式： 第一类问题是,符合实际信源的R(D)函数的计算相