熵和互信息量.ppt

第1章 熵和互信息量 本章介绍 信源的统计特性和数学模型 各类信源的信息测度----熵及其性质 引入信息理论的一些基本概念和重要结论 通信系统模型： 1.1 信源的数学模型及分类 单符号信源：输出是单个符号（代码）的消息 离散信源 连续信源 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关----平稳！ 离散平稳信源 连续平稳信源 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 随机波形信源 离散信源(单符号) 特点：输出是单个符号（代码）的消息，符号集的取值A:{a1,a2,…,aq}是有限的或可数的，可用一维离散型随机变量X来描述。 例：投硬币、书信、电报符号等等。 数学模型：设每个信源符号ai出现的(先验)概率 p(ai) (i=1,2,…,q) 满足： 连续信源 特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X 来描述。 例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。 数学模型：连续型的概率空间。即： 1.2 离散信源的信息熵及其性质 基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为: 信息的度量 考虑： 信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测度，概率小－不确定性大； 推论： 概率小 －信息量大，即信息量是概率的单调递减函数； 信息量应该具有可加性； 信息量的推导 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即： I (ai) ＝ f [ p(ai)] 根据客观事实和人们的习惯概念，函数 f [ p(ai)] 应满足以下条件： （1）它应是先验概率p(ai)的单调递减函数，即当 p (a1) p (a2) 时，有 f [ p (a1)] f [ p (a2) ] ； （2）当p (ai) =1时， f [ p (ai)] = 0 （3）当p (ai) =0时， f [ p (ai)] = ? （4）两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。 可以证明对数函数满足上述条件： 一. 自信息 设离散信源X的概率空间为： 一点说明 计算自信息量时要注意有关事件发生概率的计算； 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得： [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。 解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) ＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性) 已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即 第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit) 第三次测量获得的信息量 = I [P (x3)] =1(bit) 至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。 二. 信息熵 对一个信源发出不同的消息所含有的信息量也不同。所以自信息I(ai)是一个随机变量，不能用它来作为整个信源的信息测度。 定义自信息的数学期望为平均自信息量Hr(X)，称为信息熵： 熵的计算[例]： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为： 如果被告知摸出的是红球，那么获得的信息量是： I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为： I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号） 熵的含义 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量； 在信源输出前，信息熵H(X) 表示信源的平均不确定性； 信息熵H