《可视化计算》第6章信息论哈夫曼编码与二叉树 A.pptVIP

利用信息论进行编码分析（1） 计算英文字符（26字母加空格）为信息源的熵： 设所有字符等概率出现：H(X)=-∑p(x)log2p(x) {x∈X}  = 27*{-1/27log21/27} = log227 =4.75 (bits/Letter) * 利用信息论进行编码分析(2) 假设英文字符的概率分布如下表： 解：H(X)=-∑p(xi)log2p(xi) {i=1~27}  ≈4.02 (bits/Letter) 说明：考虑英文字符和空格实际出现的概率后，英文信源的平均不确定性，比把字符和空格看作等概率的情况要小 * 利用熵求最优编码的问题 有一个池塘里，有时非常平静，有时有青蛙叫，有时有蛤蟆叫，有时青蛙和蛤蟆一起叫，池塘的声响状态服从以下分布： 请定时记录池塘的声响状态，并编码发送。如何编码，可以使编码最短？ 池塘状态 平静 青蛙叫 蛤蟆叫 青蛙和蛤蟆叫 概率 0.5 0.125 0.125 0.25 * 利用熵求最优编码 定长编码，需要两个二进制位； 变长编码：给小概率消息较长的编码，给大小概率消息较短的编码； 因为，随机变量 X服从概率分布P时，如果消息x的分布密度为p（x）,则给其分配一个长度为[-log2p(x)]个二进制位的编码 则发送一个消息平均需要-∑