树的路径长度课件.pptVIP

第6章信息论、哈夫曼编码与二叉树PARTA《可视化计算》

学目什么是信息中的信息？如何使用二制行表达信息？如何算的信息量？??????什么哈夫曼是最？如何使用二叉常的构的算法有哪些？

信息与信息信息的用非常广泛，定在不同的也有不同，例如，在管理信息系中：?TByinformationwemeandatathathavebeenshapedintoaformthatismeaningfulandusefultohumanbeings但是在算机和通信?1948年，美国数学家、信息的始人T“通的数学理”的文中指出：“信息是用来消除随机不定性的西”

案例1：灯

一个灯的故事

改的警案

2的次和可表达的信息元

灯的个数和信息元的表达

反向思如果知道要送的消息个数，怎知道需要的最少比特数???如果需要信的内容是一年内可能攻的月份，需要多少灯？

数字表达如果民兵希望送英中先部数的消息怎??假教堂中的信人知道英先部有50个，我知道可以用不到50个灯来表达种消息T信息告我，民兵只要使用六个灯就可以表达英50个攻的消息但要送个消息，哪些灯要打开，哪些要关TT?

用灯来表示50

字符表达假要表达字母表中的26个字母，需要多少灯或比特??尽管看起来用5个比特已足表达26个字符，但是，英中每个字母都有大小写，有大量T的点符号、略(如$、、@、、+)如果把些算在内，包从0到9的数字，T共有95个不同的字符需要表达

ASCII表

与信息量著名的美国数学家ClaudeShannon在1948年定“”来表达消息的信息量?消息的信息量是一个非常有意思的概念，取决于我此消息已知的内容T有，我只要一个，就消除了的必要性，种情况下，消息所含的信息量就很低T

猜、猜、猜如果你的朋友你：“猜猜我今天是怎么到学校的?”，?你一定可以很容易的一下猜到,T而如果他是坐直升机来的?T而如果他是坐宇宙船来的?T猜次数的多少，意味着“信息不确定性”的程度，越是猜的信息，包含的信息越大?

0~7之数字的猜

哪支球是冠可以把球上号，从1到32,猜/答一次,付一元?然后提：“冠的球在1-16号中?”假如他告我猜了?我会接着：“冠在1-8号中?”假如他告?我猜了，我自然知道冠9-16中只需要五次，我就能知道哪支球是冠。所以，是世界杯冠条消息的信息量只五?

如何少猜几次信息量使用比特数量并和所有可能情况的数函数log有关?TTTlog32=52log64=6（64支参2上象巴西、德国、意大利的球得冠的可能性比日本、美国、国等大的多因此，当每个球冠的可能性（概率）不等，“世界杯冠”的信息量比五比特少T

上的信息量香指出，它的准确信息量是：?-（p1×logp1+p2×logp2+．．．＋p32×logTp32)其中，p1，p2，．．．，p32分是32个球冠的概率??香把它“信息”(Entropy)，一般用符号H表示，位是比特

硬的假一条消息出的概率p,那么其信息???量就是–logp比特2如果出的正面的概率1/2，那么其信息量就是-log1/2=1比特2如果因重心等原因，出的正面的概率1，那么信息量就成了-log1=0比特2

的定随机量X，取空Ω，Ω有限集；?X的分布密度p(x)，p(x)=P(X=x)，x∈X，随机量的取不确定程度，即其当使用log，的位比特??2反映一个信源出不同信号，具有的平均信息量

利用信息（1）算英文字符（26字母加空格）信息源的：?所有字符等概率出：H(X)=-∑p(x)logp(x){x∈X}?2=27*{-1/27log1/27}2=log272=4.75(bits/Letter)

利用信息(2)假英文字符的概率分布如下表：?解：H(X)=-∑p(x)logp(x){i=1~27}i2i≈4.02(bits/Letter)明：考英文字符和空格的概率后，英文信源的平均不确定性，比把字符和空格看作等概率的情况要小?

利用求最的有一个池塘里，有非常平静，有有青蛙叫，有有蛤蟆叫，有青蛙和蛤蟆一起叫，池塘的声响状服从以下分布：?池塘状态平静青蛙叫蛤蟆叫青蛙和蛤蟆叫0.50.1250.1250.25概率池塘的声响状，并送。如何，可以使最短？?

利用求最定，需要两个二制位；??：小概率消息大小概率消息短的因，随机量X服从概率分布P，如果消T息x的分布密度p（x）,其分配一个度[-logp(x)]个二制位的2送一个消息平均需要-∑p(x)logp(x)个二制位所以，有如下：T2T

利用求最(3)消息编码0平蛙叫蛤蟆叫青蛙和蛤蟆一起叫编码的平均长度为：-∑p(x)logp