《可视化计算》第6章信息论哈夫曼编码与二叉树A.pptxVIP

第6章信息论、哈夫曼编码与二叉树

PARTA《可视化计算》1

学习目标2常见的树结构的算法有哪些？如何使用二叉树进行编码设计？为什么哈夫曼编码是最优编码？如何计算编码的信息量？如何使用二进制编码进行表达信息？什么是信息论中的信息？EDCBAF

信息与信息论3Byinformationwemeandatathathavebeenshapedintoaformthatismeaningfulandusefultohumanbeings信息的应用非常广泛，定义在不同的领域，也有不同，例如，在管理信息系统中：1948年，美国数学家、信息论的创始人仙农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”但是在计算机和通信领域：

案例1：灯笼报信4

一个灯笼的故事5

改进的报警方案6

2的幂次和可表达的信息单元7

灯笼的个数和信息单元的表达8

反向思维9如果知道要传送的消息个数，怎样知道需要的最少比特数?如果需要报信的内容是一年内可能发生进攻的月份，需要多少灯笼？

如果民兵希望发送英军中先头部队数量的消息时怎么办?数字表达101假设教堂中的报信人知道英军先头部队有50个连，我们知道可以用不到50个灯笼来表达这种消息3但要传送这个消息，哪些灯笼要打开，哪些要关闭呢?2信息论告诉我们，民兵只要使用六个灯笼就可以表达英军50个连进攻的消息

用灯笼来表示5011

假设要表达字母表中的26个字母，需要多少灯笼或比特呢?字符表达12尽管看起来用5个比特已足够表达这26个字符，但是，英语中每个字母都有大小写，还有大量的标点符号、缩略语(如$、、@、、+)如果把这些计算在内，包括从0到9的数字，则总共有95个不同的字符需要表达

ASCII码表13

熵与信息量14著名的美国数学家ClaudeShannon在1948年定义“熵”来表达消息的信息量消息的信息量是一个非常有意思的概念，取决于我们对此消息已知的内容有时，我们只要问一个问题，就消除了再问的必要性，这种情况下，消息所含的信息量就很低

猜、猜、猜15如果你的朋友问你：“猜猜我今天是怎么到学校的?”，你一定可以很容易的一下猜到,骑车而如果他是坐直升飞机来的?而如果他是坐宇宙飞船来的?猜测次数的多少，意味着“信息不确定性”的程度，越是难猜的信息，包含的信息值越大

0~7之间数字的猜测过程16

哪支球队是冠军17可以把球队编上号，从1到32,猜/答一次,付钱一元然后提问：“冠军的球队在1-16号中吗?”假如他告诉我猜对了我会接着问：“冠军在1-8号中吗?”假如他告诉我猜错了，我自然知道冠军队在9-16中这样只需要五次，我就能知道哪支球队是冠军。所以，谁是世界杯冠军这条消息的信息量只值五块钱

信息量使用比特数计量并和所有可能情况的对数函数log有关如何少猜几次18log232=5实际上象巴西、德国、意大利这样的球队得冠军的可能性比日本、美国、韩国等队大的多因此，当每个球队夺冠的可能性（概率）不等时，“谁世界杯冠军”的信息量实际比五比特少log264=6（64支参赛队）

实际上的信息量19香农指出，它的准确信息量应该是：p1×logp1+p2×logp2+．．．＋p32×logp32)其中，p1，p2，．．．，p32分别是这32个球队夺冠的概率香农把它称为“信息熵”(Entropy)，一般用符号H表示，单位是比特010302

硬币的抛掷测试20如果出现的正面的概率为1/2，那么其信息量就是-log21/2=1比特如果因为重心等原因，出现的正面的概率为1，那么信息量就成了-log21=0比特假设一条消息出现的概率为p,那么其信息量就是–log2p比特

熵的定义21设随机变量X，取值空间Ω，Ω为有限集合；X的分布密度为p(x)，p(x)=P(X=x)，x∈X，则该随机变量的取值不确定程度，即其熵为：01当使用log2时，熵的单位为比特02反映一个信源发出不同信号，具有的平均信息量03

利用信息论进行编码分析（1）22=4.75(bits/Letter)=log227=27*{-1/27log21/27}H(X)=-∑p(x)log2p(x){x∈X}设所有字符等概率出现：计算英文字符（26字母加空格）为信息源的熵：

利用信息论进行编码分析(2)23假设英文字符的概率分布如下表：解：H(X)=-∑p(xi)log2p(xi){i=1~27}≈4.02(bits/Letter)说明：考虑英文字符和空格实际出现的概率后，英文信源的平均不确定性，比把字符和空格看作等概率的情况要小0102

利用熵求最优编码的问题24有一个池塘里，有时非常平静，有时有青蛙叫，有时有蛤蟆叫，有时青蛙和蛤蟆一起