理论极限与基本途径.pptVIP

压缩编码技术 3.1.1 自信息量和一阶熵 3.1.2 基本途径之一——概率匹配 3.2 联合信源 3.2.1 联合熵和条件熵 基本途径之二 — 对独立分量进行编码 3.3 随机序列 基本途径之三 — 利用条件概率 基本途径之四 — 利用联合概率 基本途径之五 — 对平稳子信源进行编码 3.4 率失真理论 笛卡尔积定义 设A,B为集合，用A中元素为第一元素，B中元素为第二元素构成的有序对，所有这样的有序对组成的集合笛卡尔积的符号化为： AxB={x,y|x∈A∧y∈B} 例如，A={a,b},B={0,1,2},则 AxB={a,o,a,1,a,2,b,0,b,1,b,2,} BxA={0,a,0,b,1,a,1,b,2,a,2,b} 习题1： 习题2： 习题3： 率失真函数的基本含义 信源编码的过程： 输入符号集： Am={a1,a2,…,am} 输出符号集： Bn={b1,b2,…,bn} 编码器映射 互信息量概念：I(aj|bk) 和 I(bk|aj) 例3-5 设信源编码器是一个简单的一一对应的关系，即m=n，且： a j → bj，j=1,2,3, … , m 用概率表示： P(a k|bk )=1 或 P(b j|aj )=1 I(a k|bk )=0 或 I(b j|aj )=0 也就是说： 此时： b j 提供了aj 全部信息，或者说解除了aj 的全部不确定性。 I(a j; bk )=I(aj) 信息保持编码 aj ： 1 2 3 4 5 6 7 8 bj ： 000 001 010 011 100 101 110 111 aj ： 1,2 3,4 5,6 7,8 bj ： 00 01 10 11 当允许存在一定误差,假设一个实际信源,有8不同消息,但却发现1,2; 3,4; 5,6; 7,8两两相差不多，可用同一码字代表: 3bit编码 2bit编码 误差的产生是由于对信源的某些符号进行了合并,减少了事件的数目,从而使新信源的熵降低。当集合中事件结构发生变化时，就会引起信源概率结构的变化，从而影响信源概率的变化。 只要允许误差（量化）的存在，就可以减少编码输出的字符数，因而也就可以降低码率。 信息论术语：即要确定每个编码符号至少应提供的关于信源符号的信息量。 在给定的失真条件下，最起码需要多大的码率，才能保证不超过允许的失真。 讨论： 率失真函数的基本含义： 在一定的失真条件下，要找出平均互信息量，即： 的最小值 min I(X;Y)。 X 表示信源的随机变量集合， I(X)表示信源信息; Y 表示编码符号的随机变量集合，I(Y)表示编码输出信息。 平均信息量的公式可写为： 或者： (3.4-1) (3.4-2) 因此, 可知平均互信息量由下面几个方面决定： 信源符号概率P(aj) 编码输出符号概率Q(bk) 已知信源符号出现的条件概率Q(bh|aj) 在确定信源条件下, P(aj)已确定, 所谓选择编码方法,就是通过改变条件概率Q(bh|aj)的分布来控制平均信息量。 离散信源的率失真函数 对失真的度量： 具有随意性，对不同信源及不同场合, 可引入不同的失真度量。 常用的有： 图像、语音编码中： 常常希望用人的视觉、听觉特性来加权。 均方差:  信源发出 aj ，被编码成 bk ，其误差平方为(aj-bk)2 ; 0 0 b2 b1 a2 a1 d2 d1 (a) (b) 图3.4 失真测量流图与矩阵 对离散信源：常用失真测量流图或矩阵作为失真的度量 以 d(aj,bk) 代表失真度量,则平均失真(失真函数)： (3.4-3) 若要求平均失真D(Q)≤D，则必存在这样一个条件概率Q(bk|aj)，使D(Q)不超过D，记： QD=Q(D(Q)≤D ) (3.4-4) 为保证失真在允许范围D内的条件概率的集合。 率失真函数R(D) (亦称码率-失真函数)定义为: (3.4-5) 率失真函数是在允许失真为D的条件下,信源编码给出的平均互信息量的下界,也就是数据压缩的极限数码率(基本极限)。 在Q(D)范围内寻找最起码的平均互信息量: 定理3.3(有失真时的信源编码逆定理): 当数码率R小于率失真函数R(D)时,无论采用什么编译码方式,其平均失真必大于D 。 R(D)函数对于信源编码具有指导意义，但计算一个具体信源的R(D)函数很困难： 信源符号的概率分布很难确知； 式(3.4-5)的求