数据编码压缩与信息熵.PDF

数据编码压缩与信息熵 张曦虎 数据编码  发送一串字符串：  ABCC  使用ASCII码01二进制表示：  A  B  C  01000001010000100100001101000011 数据编码  字符集X={A,B}  发送：ABABABABAAAAAABBBBBAAAAA  二进制表示：……  24个字节，192个bit……  太长……  “0”表示”A”,”1”表示”B”。24个bit。3个字节解决 问题！ 莫尔斯编码(Morse code)  1.A dash is equal to three dots.  2.The space between parts of the same letter is equal to one dot.  3.The space between two letters is equal to three dots.  4.The space between two words is equal to seven dots 前缀码(prefix code)  发送01序列，如果使用特殊的符号分隔会降低 编码效率。  充分利用码的自我间断性。 前缀码(prefix code)  定义：若码中无任何码字是其他码字的前缀， 则称该编码为前缀码(prefix code)或即时码 (instantaneous code)  由于何时结束码字都可以瞬时辨认出来，因此， 对即时码而言，分配码字结束的同时就可以立 即译出字符。  即时码是一个自我间断码。 Kraft不等式  定理：对于D元字母表上的即时码（前缀码）， 码字长度l ,l ,…,l 必定满足不等式： 1 2 m l D i 1 i  反之，若给定满足以上不等式的一组码字长度， 则存在一个相应的即时码，其码字长度就是给 定的长度。  可推广到可数无限码字集。 Kraft不等式 最优码  考虑字符集Σ的大小。  考虑单个字符x ∈Σ出现的概率p(x)…… l  约束条件： D i 1 i  期望最小化： E p l i i i 最优码  放宽条件：li可以取任意正实数。（以此求E的 下界） l D i 1  最优情况下必有： i l  D i 1 时，通过减小某个li来得到更优的解。 i  E p l  i i i  D li 1 带条件极值。 i 最优码 l  i  J