第8章信息论.pptVIP

end 说明： 1、消息的编码长度大，可以理解为消息所含信息量大。消息的编码长度短，可以理解为消息所含信息量小。 2、平均信息量即为发送一个消息的平均编码长度。在信息论中用熵来描述随机变量中的平均信息量。 * 利用信息论进行编码分析（1） 计算英文字符（26字母加空格）的信息源的熵： 设所有字符等概率出现：H(X)=-∑p(x)log2p(x) {x∈X}  = 27*{-1/27log21/27} = log227 =4.75 (bits/Letter) 利用信息论进行编码分析(2) 假设英文字符的概率分布如下表： 解：H(X)=-∑p(xi)log2p(xi) {i=1~27}  ≈4.02 (bits/Letter) 说明：考虑英文字符和空格实际出现的概率后，英文信源的平均不确定性，比把字符和空格看作等概率的情况要小 利用熵求最优编码(1) 有一个池塘里，有时非常平静，有时有青蛙叫，有时有蛤蟆叫，有时青蛙和蛤蟆一起叫，池塘的声响状态服从以下分布： 请定时记录池塘的声响状态，并编码发送。如何编码，可以使编码最短？ 池塘状态 平静 青蛙叫 蛤蟆叫 青蛙和蛤蟆叫 概率 0.5 0.125 0.125 0.25 利用熵求最优编码(2) 解： 定长编码，需要两个二进制位； 变长编码：给小概率消息较长的编码，给大小概率消息较短的编码； 因为，随机变量 X服从概率分布P时，如果消息x的分布密度为p（x）,则给其分配一个长度为[-log2p(x)]个二进制位的编码 则发送一个消息平均需要-∑p(x)log2p(x)个二进制位 所以，有变长的编码规则如下： 利用熵求最优编码(3) 消息 编码 平静 0 青蛙叫 110 蛤蟆叫 111 青蛙和蛤蟆一起叫 10 编码的平均长度为： -∑p(x)log2p(x)=0.5*1+0.125*3+0.125*3+0.25*2 =1.75比特 问题和讨论 Unicode是一个重要的文字编码标准，请比较Unicode的两个实现方案 utf-16(是MS Windows 系统的内码) utf-8（大部分Unix／Linux系统采用的内码）请说出两个编码实现方案的差别和原因 提示: 可以使用”记事本” 保存不同格式的汉字文件, 来实际了解两种编码的信息量与数据冗余 Huffman编码 使用Huffman树生成最优编码 Huffman树实际上是二叉树 需要编码的资料，编码与概率表 原始资料提供了树的叶子， 算法通过计算叶子的权重，构建Huffman树 树的基本概念 * 树的定义与基本概念 二叉树 二叉树遍历 二叉树的定义 一棵二叉树是结点的一个有限集合，该集合或者为空，或者是由一个根结点加上两棵分别称为左子树和右子树的、互不相交的二叉树组成。 这个定义是递归的 * 二叉树的五种不同形态 L L R R 结点深度即结点所处层次，是从根向下逐层计算的； 结点的高度是从下向上逐层计算的：叶结点的高度为1, 其他结点的高度是取它的所有子女结点最大高度加一。 例如，E的高度为4，深 度为3 树的深度与高度相等。 树的深度按离根最远的 叶结点算，树的高度按 根结点算，都是6 * A B C D E G H I L J 高度=4 深度=3 节点的深度与高度 性质1 若二叉树的层次从 1 开始, 则在二叉树的第 i 层最多有 2i-1 个结点。( i≥1) 性质2 高度为 h 的二叉树最多有 2h -1个结点。(h≥1) 性质3 对任何一棵二叉树, 如果其叶结点有 n0 个, 度为2的非叶结点有 n2 个, 则有 n0＝n2＋1 * 例题：如果已知二叉树只有度为 2 和度为 0 的结点。且度为 0 的结点有 17 个，度为 2 的结点应有16 个。该二叉树最大高度为17，最小高度？ 已知二叉树各个结点的度为 di, i = 1, 2, …, n，则所有结 点的度之和应等于树的分支 数n-1。 已知二叉树有 n 个结点，则其最大高 度（深度）为 n，最小高度？ * A B C D E G I L J 求节点的高度 定义1 满二叉树 (Full Binary Tree) 定义2 完全二叉树 (Complete Binary Tree) 若设二叉树的高度为 h，则共有 h 层。除第 h 层外，其它各层 (1～h-1) 的结点数都达到最大个数，第 h 层从右向左连续缺若干结点，这就是完全二叉树。 * 性质4 具有 n (n≥0) 个结点的完全二叉树的高度为 ?log2(n+1)?