信息论-熵.pptVIP

信息理论基础 信息理论基础 上一章内容回顾 信息的概念及特殊性质 通信系统的模型 信息论的产生及发展 通信所要解决的三大问题 有效性—信源编码 可靠性—信道编码 安全性—密码 第二章 信息的统计度量 本章研究的主要问题 本章主要内容 2.1 自信息量和条件自信息量 2.2 互信息量和条件互信息量 2.3 离散集的平均自信息量-熵 2.4 离散集的平均互信息量 如何度量信息？如何计算消息的信息量？ 某些消息比另外一些消息传递了更多的信息例。 类似于火车运输货物多少用“货运量”衡量 消息信号传输信息多少用“信息量”衡量 概率论知识： 事件出现的可能性愈小，概率愈小； 该事件是否会出现的不确定性就愈大 事件出现的可能性愈大，概率愈大 该事件是否会出现的不确定性就愈小 信息量与消息出现的概率有关----是概率的函数？ 信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量 自信息的测度单位及其换算关系 如果取以2为底，则信息量单位称为比特(binary unit) 如果取以e为底，则信息量单位称为奈特(nature unit) 如果取以10为底，则信息量单位称为哈特(Hart unit） 1奈特＝1.44比特 1哈特＝3.32比特 2.2互信息量 自信息量I(xi) 只能表示信源发出的某一具体符号xi的自信息量 很多信源的符号集合具有多个元素且其概率并不相等，即P(xi)≠P(xj)，因此I(xi)不能作为整个信源的总体信息测度 能作为信源总体信息测度的量应是信源各个不同符号xi(i= 1, 2,…, N) 所包含的自信息量I(xi) (i=1, 2, …, N) 在信源空间P(X) = { P(x1), P(x2), …, P(xi), …, P(xN)}中的统计平均值 熵可以作为信息的量度 对于随机变量而言： 试验前－－ 试验后－－ 熵的物理含义 熵的物理含义 熵是随机变量的随机性的描述 变量Y、Z等概，随机性大，变量X不等概，则随机性小 等概情况下，可取值越多，随机性越大 H（）是描述随机变量所需的比特数 熵是随机变量平均不确定性的描述 X试验中发生a1,获得的自信息为-log0.01=6.64(bit) Y试验中发生a1,获得的自信息为-log0.5=2.32(bit) H（）反映的是平均的不确定性 2.3. 2条件熵 在[a,b]上定义的下凸函数 在[a,b]上定义的上凸函数 本章内容 熵 自信息量 熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵 互信息 互信息的定义 互信息函数的性质 平均互信息量 6.确定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…0)=0 集合X中，只要有一个事件为必然事件，则其余事件 为不可能事件，此时集合X中每个事件对熵的贡献都 为零，因而熵必为零。 7.上凸性 证明： 单个离散随机变量的概率空间的不确定性度量 －熵 此概率空间视为一信源，离散信源的平均信息量 －信源熵 信源熵是从平均意义上来表征信源的总体特征的量， 表征信源的平均不确定性 信源熵无法描述主观意义上对事件的判断的差别，淹没了 个别事件的重要性 引入更为合理的信息的度量-----加权熵 2.3.5加权熵 引入事件的重量来度量事件的重要性，反映主观的特性和事件 本身的客观性质 加权熵从某种程度上反映了人的主观因素 加权熵的性质 含义：只包含一个试验结果的事件是确定事件，没有任何随机性，尽管发生的事件是有效用或有意义的，仍然不能提供任何信息量。 说明：如果可能的事件是无意义或无效用的，而有意义或有效用的事件是不可能的，这时的香农熵不为零，但其提供的加权熵等于零。从主观效果上看并没有获得任何信息量 2.3.6各种熵的关系 1. 联合熵与信息熵、条件熵的关系 证明： 表明：共熵等于前一个集合X出现的熵加上前一个集合X出现的条件下，后一个集合Y出现的条件熵 集X,Y相互独立时，有 联合熵与信息熵的