清华大学多媒体课件32.ppt

4.3.1 统计编码原理 ——信息量和信息熵 图像的概率分布、信息量和信息熵之间有什么关系？在图像编码压缩理论研究中，为什么要引入信息论中“熵”值的概念，有什么重要意义？这是我们下面需要说明的问题。 一.概念: 1.信息:是用不确定性的量度定义的。 2.信息量:从N个相等可能事件中选出 一个事件所需要的信息度量或含量。 3.熵:如果将信源所有可能事件信息量 进行平均就得到信息的熵(熵就是平 均信息量)。 (1). 信源均含有的平均信息量(熵),就是进 行无失真编码的理论极限。 (2). 信源中或多或少的含有自然冗余。 (3). 则信息源X的熵为: 取以 2为底： Shannon 论文 传输包括: (1). 传输所需要的信息。 (2). 以任意小的失真或零失真接收这些信息。 已经证明：只要符号速率不超过信道容量 C符号可以以任意小的差错概率向该信道中传 输。 另外几种典型的方法是: Fans, Huffman,编码方法定理,变字长编码 最佳编码定理。 变字长编码定理 在变字长编码中，对于出现概率大 的信息符号，编以短字长的码,对于出现 概率小的信息符号编以长字长的码，如 果码字长度严格按照符号概率的大小的 相反顺序排列，则平均码字长一定小于 按任何其他符号顺序排列方式得到的码 字长度。 证明: 最佳的平均码字长度: 其中：P(ai)是信源符号ai出现的概率； ni是符号ai的编码长度。 根据编码方法定义规定： P(ai)=P(as) nins 如果将ai 的码字与as的码字互换，则: (一). 熵、熵编码原理、变字长编码最佳 编码定理。 (二). Huffman就是利用了这个定理进行 编码。 (1). 把信源符号按概率大小顺序排列， 并设法按逆次序分配码字的长度。 (2). 在分配码字长度时，首先将出现概率 最小的两个符号的概率相加合成一个概率。 (3). 把这个合成概率看成是一个新组合符号地概率，重复上述做法直到最后只剩下两个符号概率为止。 (4). 完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有三个分支各赋予一个二进制码，可以对概率大的赋为零，概率小的赋为1。 * * 以一个信源编码器模型说明 编码器 信源(消息集) 编码输出集(接收端) X={x1,x2,…,xn} Z={z1,z2,…,zn} 符号集Am={a1,a2,…,am} 编码器模型图 其中 X是消息集, 由几个信号单元xj构成（j=1,2,……,n） Z是输出集，由几个码字zj构成（j=1,2,……,n），zj与xj一一对应。 Am是符号集，由m个码元ai构成(i=1,2,……,m)，符号集中的码元组成输出码字。 英文字母出现的概率按大小排列 该英文字母编码的码长按大小排列 概率大 码长短