数据压缩第3章 理论极限与基本途径3次sxq1.pptVIP

本章内容 3.1.1 自信息量和一阶熵 3.1.2 基本途径之一——概率匹配 本章内容 3.2 联合信源 3.2.1 联合熵和条件熵 基本途径之二 —对独立分量进行编码 本章内容 3.3 随机序列 基本途径之三—利用条件概率 基本途径之四—利用联合概率 基本途径之五 —对平稳子信源进行编码 本章内容 习题1： 习题2： 习题3： 3.4 率失真理论 没有冗余度的信源还能否被压缩？ 有人说：“黑白图像的负片(黑白颠倒)比正片更容易压缩”，你怎么认为？ 不能进行无损压缩，但可以进行有损压缩。 不对，两者熵相同，冗余度相同，压缩的难易一致。 非负性 (3.2.12) 由于： (3.2.11 a) (3.2.11b) (3.2.11 a) (3.2.11b) 条件熵必定不大于无条件熵 只有当X与Y相互独立时，式(3.2.11)中等号成立。 (3.2.10) 由于平均信息量非负， (3.2.13) 联合信息熵必定不大于各分量信息熵之和， 只有当X与Y相互独立时，式(3.2.13)中等号成立。 一般情况下， 联合信源的冗余度，就是两者之差 (3.2-14) 两信源的相关性越大，冗余度越大 对于联合信源， 1) 冗余度隐含在信源的相关性中； 2) 尽量去除各分量间的相关性，再对各独立 分量进行编码。 数据压缩的途径之二 变换编码的基础 例3-2 为消除彩色电视信号R、G、B分量间的相关性并保持与黑白电视兼容，可按下面的彩色空间变换矩阵将其转换为亮度（Y）和色度（U，V）。 再对相关性较弱的Y、U、V分量分别编码 (3.2.15) 文氏图（Venn Diagram） 图3.2 表示信息熵关系的Venn图 联合信息熵和平均互信息量之和等于各分量之和 (3.2.16) X、Y 信源相互独立时 两圆互相离开，条件熵增大，相关性减弱。 X、Y 信源完全相关时 两圆互相重合，条件熵为零，联合熵等于单个信源的熵。 1 离散无记忆信源 2 联合信源 3 随机序列 4 率失真理论 有记忆信源：源字 X 的各分量不是互相独立的 极限熵 把 n 个信源符号当作一个 n 维随机矢量 X ， 其联合概率为P(X), 熵为： 平均符号熵为: (3.3.1) (3.3.2) 若把前n-1个符号作为条件,则可求得最后一个符号Xn 的熵为: 信息论中已证明： 对于离散平稳信源X ，如果它的H(X1) ∞, 下述结论成立: 与 均为随n增大而单调不增函数; ① 当n增大(考虑更多的元素互相依从关系)时, 熵值将会进一步降低; 为极限熵或极限信息量, 用H∞ 表示 ③ (3.3.4) ② (3.3.3) 数据压缩的途径之三 对于离散有记忆平稳信源， 1) 理论上，可通过它的条件概率计算极限熵； 2) 实践中，可利用条件概率进行编码，阶越高越有利。 数据压缩的途径之三 对于离散平稳信源， 1) 理论上，可通过它的条件概率计算极限熵； 2) 实践中，可利用条件概率进行编码，阶越高越有利。 H∞的计算极其困难 假定信源平稳; 测得n足够大的条件概率以近似计算H∞; 假定信源的记忆有限。 Xp只与其前面M个符号Xp-1, Xp-2,… , Xp-M有关 M阶Markov链： 表示这M+1个符号(Xp-M, Xp-M+1, , Xp-1,Xp)组成的序列。 M=1 → 一阶Markov链 P(Xp|Xp-1, Xp-2,Xp-3, , Xp-M)=P(Xp|Xp-1) P(X)=P(X1)P(X2|X1)P(X3|X2) P(Xn|Xn-1) M → M阶Markov链 P(Xp|Xp-1, Xp-2,Xp-3, , Xp-M) P(X)=P(X1)P(X2|X1)P(X3|X2,X1) P(Xn|Xn-1,X n-2, , Xn-M) 得到平均符号熵HM+1 M=1 → 2阶条件熵H2 H(X|Y) 和 H(Y|X) M=0 → 1阶熵H1 (信源无记忆) H(X) 0阶熵H0 (信源的最大离散熵) 简化:信源等概率分布,有m种取值 H0 = log m = R 对于一般平稳信源，有： 有时只能得到H1，甚至H0，传输更浪费。 只能计算HM，只好用传送HM的手段，传输不经济。 实际符号熵是H∞，理论上只要传送H∞的手段即可。 未能完全掌握其概率分布 （3.3-5） 对于PCM编码的数据,其无失真压缩的理论极限为: (3.3-6) 等长的PCM编码: 传送 H0 测得各符号出现的概率,并按无记忆信源考虑的统计编码 传送 H1, 获得信息