第二章 信息的度量.pptVIP

第二章 信息的度量 2.1 信源模型 同一个字(词)对每个人的主观作用是不一样的,随着读者的主观反映而变,一般地我们称之为主观信息不同,而且不能加以度量,信息论不包含这种主观信息(至少目前还不能加以讨论)。 在信息论中,常把基本消息称为符号,基本消息集合就是符号集合或符号表,消息则是符号串。对认识主体而言,信源在某一时刻输出什么符号是随机的,可以用概率统计的方法加以处理。信源在各个时刻的输出组成了一随机变量输出序列: {Xtk;tk∈T} 式中T为时间参数集,Ex为Xtk的值域或取值空间。 一般说来{Xtk}中各随机变量是统计相关的,所描述的信源称为有记忆信源。它的统计规律的描述是困难的,与实际信源较为接近的一种信源模型是平稳信源。(“记忆”长N)N维分布函数与时间起点无关: 最简单的一种信源是无记忆信源,这种信源的输出序列是一列统计独立的随机变量。 2.2 信息的描述 对于离散无记忆信源,其输出随机变量序列是独 立同分布的。考虑任一时刻的输出随机变量X,设 X取值于含有K个元素的符号集Ex={xk|k=1,2,…K} 设符号表中的概率为P(xk)≥0,k=1,2,…K为已知 将符号表和概率写在一起,称为概率空间: 2.3 不确定性与信息 一般地,信源要发出的消息的状态应该存在某种程度的不确定性,通过通信将信息传给了收信者,收信者收到了信息以后消除了不确定性。如果信源发出的信息不确定性愈大,通过通信,收信者得到的信息量愈多。 消息与信息是两个截然不同的概念:消息是由符号、文字或语言组成的序列,消息中不确定的内容构成信息。 消息并不是信息,任何己确定的事物都不再含有信息。 不确定的程度 例(1)如某二元信源发送1的概率为0.99,发送0的概 率为0.01,信宿随机收到一个信号,猜测是1还是0? (2)如果二元信源发1和发0的概率均为0.5,信宿随 机收到一个信号,猜测是0还是1? (3)如果信源可发送0,1,2,…9这十个数字,并假定发 送这十个数字的概率均为1/10,则信宿随机收到一个 信号,要猜测是什么信号? (4)极端情况,信源只发出一个信号1(或者永远只发 0),从这样的信源,我们不可能获得任何信息。 (复习)常用到的概率论的基本概念和性质: 设随机变量X,Y分别取值于{x1,x2,…xK}和 {y1,y2,…yJ}。如果考察X和Y同时发生xK和yJ的概率,则二者构成联合随机变量XY,取值于{xkyj|k=1,2,…K;j=1,2,…J},元素xkyj发生的概率称为联合概率,用P(xkyj)表示 有时随机变量X和Y之间有一定的关联关系,一个随机变量发生某结果后,对另一个随机变量发生的结果会产生影响,这时我们用条件概率来描述两者之间的关系:如P(yk|xj)表示X发生xj后,Y又发生yk的条件概率,而P(yk)表示对xj一无所知时yk发生的概率。有时相应地称P(yk)为yk的无条件概率。同理有P(xj|yk)和P(xj)。 概率的基本性质: 2.3.2 联合自信息量 涉及两个随机事件的离散信源,其信源模型为: 2.3.3 条件自信息量 设yj条件下,发生xk的条件概率为P(xk|yj),那么它的条件自信息量定义I(xk|yj)为: 在给定条件xk(yj)条件下,随机事件yj(xk)发生所包 含的不确定度在数值上与条件自信息量I(yj|xk)( I(xk|yj))相同,但两者的含义不同。不确度表示含有 多少信息量;而信息量表示随机事件发生后可以得 到多少信息。 2.3.4 自信息量的性质和相互关系 上面介绍的三种自信息量:自信息量、联合自信息量和条件自信息量在数学上看具有一些共同的性质: (1)概率为0时,相应的自信息量无意义; (2)非负性。 三种自信息量之间的关系: 信宿收到yj后推测信源发出xk的概率,这一过程可 由后验概率P(xk|yj)来描述。相应地,信源发出消息xk 的概率P(xk)称为先验概率，由于 信息=先验不确定性－后验不确定性 若记上述过所得到的信息为I(xk;yj),则它应等于xk 在观察到yj的前后的不确定性之差,即xk的先验不确 定性I(xk)减去xk的后验不确定性I(xk|yj): 定义 在集X上,随机变量I(xk)的数学期望定义为平 均互信息量 注意熵函数的自变量是大写的X,表示信源的整 体,它实质上是