互信息和信息熵.ppt

互信息和信息熵;互信息 信息熵;复习 xi的自信息量 非负 单调减 可加 不确定性 (提供的信息量) 收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) ＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性) 条件自信息量 联合自信量 I(x) 是概率空间(X,P)上的一个随机变量; 互信息量： 结合图示讲解通信模型，信源发出消息xi的概率p(xi)称为先验概率，信宿收到yi。利用收到yi推测信源发出xi的概率称为后验概率，有时也称条件概率。 思考：事件xi是否发生具有不确定性，可用自信息I(xi)度量。 在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I（yi|xi）度量。 相当于进行了通信。 问题：观察事件（通信）前后，通信过程中所获得的信息量是什么？ 定义:后验概率与先验概率比值的对数为yi对xi的互信息量： ; 互信息其他表达方式： ;条件互信息量 三维XYZ联合集： 给定条件 下， 与 之间的互信息量， 其定义式;互信息的性质 对称性—互易性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值，反映两个事件之间的肯定作用 若为正值，通过接收yj判断是否发送xi的不确定性变小，能够正常通信 若互信息为负值，意味着传输中的问题，如信道噪声、干扰等，收到yj判断是否发送xi的不确定性更大 两个事件的互信息量不大于单个事件的自信息量;;离散信息源的信息熵;由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”； 信息熵的单位由自信息量的单位决定，即取决于对数的底。; 电视屏上约有 500 × 600= 3×105个格点，按每格点有 10个不同的灰度等级考虑，则共能组成 个不同的画面。按等概率 计算，平均每个画面可提供的信息量为 ; 有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算???平均每篇千字文可提供的信息量为 H(X) ＝log2N＝4 × 103 × 3.32 ≈ 1.3 × 104 bit ;假设一条电线上串联了8个灯泡x1,x2…,x8如图1所示.这8个灯泡损坏的可能性是等概率的,现假设这8个灯泡中有一个也只有一个灯泡已损坏,致使串联灯泡都不能点亮.在未检查之间,我们不知道哪个灯泡xi已损坏,是不知的、不确定的.我们只有通过检查,用万用表去测量电路有否断电路,获得足够的信息量,才能获知和确定哪个灯泡xi已损坏. ; 利用熵的概念分析：图中8个灯泡构成一信源X,每个灯泡损坏的概率都相等.这个信源为;熵的计算： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为： ;熵的含义;[例] 设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占1／8)。又设乙地的天气预报为：晴 (占7／8)，小雨(占1／8)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。;解：甲地天气预报构成的信源空间为:;甲地极端情况;乙地极端情况;例 ：一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量和平均信息量。  解： 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 ; 每个符号的算术平均信息量为; 条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为：; 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 公式：;熵、条件熵、联合熵