信息论基础理论与应用离散信源及其信息测度.ppt

第2章 离散信源及其信息测度 2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源 离散信源的数学模型(1) 研究对象是：信源各种可能的输出以及输出各种消息的不确定性。不研究信源的内部结构，不研究信源为什么产生和如何产生各种不同的、可能的消息。 离散信源的数学模型(2) 上述信源输出的是单个符号且符号集取值是有限的，可用一维离散性随机变量来描述这些信源的输出。其数学模型就是离散性的概率空间： 离散信源的数学模型(3) 如果出现消息数不可数，符号集A的取值是连续的或取值是整个实数集。例如，语音信号、热噪声信号，遥控系统中有关的电压、电流、温度、压力等测量的数据。这些数据的取值都是连续的、随机的。其数学模型为： 离散信源的数学模型(4) 实际信源的输出往往是由一系列符号序列所组成。可以把信源看成时间上或空间上离散的一系列随机变量，即为随机矢量，这样信源的输出可用N维随机矢量X来表示： 自信息（1） 从科学的发展史来看，新概念或新的度量的引进大都涉及两个问题： 如何引进（引进合理，能描述对象的特征） 能解决什么问题 信息的核心问题是它的度量问题，至今最为成功的，也是最为普及的信息度量是由Shannon在他的《通信中的数学理论》中提出的、建立在概率统计模型上的信息度量，他把信息定义为“用来消除不确定的东西”。 自信息（2） 自信息（4） 信息熵（1） 前面定义的自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，其所包含的信息量也就不同。所以自信息是一个随机变量，不能用它来作为怎个信源的信息测度。 信息熵（2） 例2.2， 有一个布袋内放100个球，其中80个红球，20个白球。若随机抽一个，猜是什么颜色，这一随机事件的概率空间为 信息熵（3） 信息熵（4） 信息熵（5） 因此信息熵是从平均意义上来表征信源的总体信息测度的一个量。具有以下三种物理含义： 信息熵（6） 例2.4 设甲地的天气预报为：晴（1/2）、阴（1/4)、大雨（1/8）、小雨（1/8）。设某乙地的天气预报为：晴（7/8）、小雨（1/8）。（1） 试求两地天气预报各自提供的平均信息量。（2）若甲地天气预报为两极端情况，一种是晴出现的概率为1，另一种情况是4种天气状况等概率出现， 试求这两种情况所提供的平均信息量。（3）试求乙地出现这两种极端情况所提供的平均信息量。 例题讲解(一) 例2.1 设有12枚同值硬币,其中有一枚为假币,且只知道假币的重量与真币的重量不同,但不知究竟是重还是轻.现采用天平比较左右两边轻重的方法来测量(因无砝码).为了在天平上称出哪一枚是假币,试问至少必须称多少次? 解: 设”在12枚同值硬币中,某一枚为假币”这事件为a,出现概率为 P(a)=1/12 又设”假币的重量比真币的重量是重,或轻”这事件为b,出现概率为 P(b)=1/2 事件a的不确定性为 信息熵的非负性 信息熵的递推性(7) 熵函数的各项代数性质，既充分说明用熵函数作为信源的总体信息测度函数的合理性，同时也从不同角度揭示了信源的总体信息特性。 信息熵的极值性(2) 信息熵的基本性质 1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性 信息熵的基本性质 1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性 信息熵的扩展性 扩展性亦称连续性，当信源空间某概率分量发生微小波动，又要求其它概率分量均保持不变，为了满足信源概率空间的完备集条件，势必会增加信源符号数，此时熵函数可表示为 意义：信源的取值数增多时，若这些取值对应的概率很小（接近于0），则信源的熵不变。这也是熵总体平均值的一种体现。 信息熵的基本性质 1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性 信息熵的可加性（1） 信息熵的可加性（2） 证明过程如下： 信息熵的基本性质 1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性 信息熵的递推性(1) 信息熵的递推性(2) 信息熵的递推性(3) 这个试验的结果，就是熵函数递推性的试验基础。 以此类推，对于4维概率向量的信源 信息熵的递推性(4) 其信息熵H(X)可写成 信息熵的递推性(5) 信息熵的递增性： 信息熵的递推性(6) * * 所以，这个单符号离散信源的数学模型可表示为： 例如，掷一个质地均匀的六面骰子，如把朝上一面的点数作为作为随机试验结果，把试验结果看作信源的输出，那么