清华大学多媒体课件32.pdf

4.3.14.3.1 统计编码原理统计编码原理 ————信息量和信息熵信息量和信息熵 图像的概率分布、信息量和 信息熵之间有什么关系信息熵之间有什么关系？？在图像在图像 编码压缩理论研究中，为什么要 引入信息论中引入信息论中 “熵熵”值的概念值的概念， 有什么重要意义？这是我们下面 需要说明的问题需要说明的问题。 以一个信源编码器模型说明 信源(消息集) 编码器 编码输出集(接收端) X={x ,x ,…,x } 1 2 n Z={{z ,,z ,,…,,z }} 11 22 nn 编码器模型图编码器模型图 符号集A ={a ,a ,…,a } m 1 2 m 其中 XX是消息集是消息集, 由几个信号单元由几个信号单元xx 构成构成 （（jj 11,22,……,nn）） j Z是输出集，由几个码字z 构成（j=1,2,……,n），z 与x 一一对应。 j j j AA 是符号集是符号集，，由由mm个码元个码元aa 构成构成 (i(i 11,,22,,…………,m),m)，，符号集中的码元组符号集中的码元组 m ii 成输出码字。 一.概念概念:: 1.信息:是用不确定性的量度定义的。 2.信息量:从N个相等可能事件中选出 一个事件所需要的信息度量或含量个事件所需要的信息度量或含量。 3.熵:如果将信源所有可能事件信息量 进行平均就得到信息的熵(熵就是平 均信息量均信息量)) 。 (1)(1). 信源均含有的平均信息量信源均含有的平均信息量((熵熵)),就是进就是进 行无失真编码的行无失真编码的理论极限论极限。 (2). 信源中或多或少的含有自然冗余。 (3). 则信息源则信息源X 的熵为的熵为: 取以2为底： ShannonShannon 论文论文 传输包括: (1). 传输所需要的信息。 (2)(2). 以任意小的失真或零失真接收这些信息以任意小的失真或零失真接收这些信息。 已经证明：只要符号速率不超过信道容量 C符符号可以以任意任意小的差错概率向该信道中的差错概率向该信道中传 输。 另外几种典型的方法是: Fans, Huffman,编码方法定理,变字长编码 最佳编最佳编码定定理。 变字长编码定理变字长编码定理 在变字长编码中，对于出现概率大 的信息符号，编以短字长的码,对于出现 概率小的信息符号编以长字长的码概率小的信息符号编以长字长的码，，如如 果码字长度严格按照符号概率的大小的 相反顺序排列相反顺序排列，则平均码字长则平均码字长一定小于定小于 按任何其他符号顺序排列方式得到的码 字长度。 英文字母出现的概率按大小排列英文字母出现的概率按大小排列 概率大概率大 该英文字母编码的码长按大小排列该英文字母编码的码长按大小排列 码长短 证明证明:: 最佳的平均码字长度: 其中：P(ai)是信源符号ai出现的概率； nini是符号是符号aiai的编码长度的编码长度。 根据编码方法定义规定： P(P(ai))=P(P(as)) nins 如果将ai 的码字与as 的码字互换，则: (一). 熵、熵编码原理、变字长编码最佳 编码定理。 ((二二)). Huffman