量子物理跟信息技术.ppt

第2章 信息的度量 石志国 北京科技大学电子信息系 不确定性、惊讶度与信息量 在事件发生前有不确定性 在事件发生时有惊讶度 在事件发生后有信息量 当一个概率很低的随机事件发生时，会感到非常惊讶，并得到很大的信息量 比如： 9.11事件，美国纽约世贸大厦被炸 自信息量 从信息源获取信息的过程就是其不确定性缩减的过程 随机事件包含的信息与其不确定性紧密相关 在统计分析中，使用概率作为衡量不确定性的一种指标 可以推论出：随机事件包含信息的度量应是其概率的函数。 对数以及常用公式 自信息的性质 例1.自信息题目 联合自信息 条件自信息 几种自信息之间的关系 自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性 三者都是随机变量、其值随着变量xi，yj的变化而变化。 三者之间有如下关系式： 例2. 自信息例题 二. 互信息量 设有两个离散的符号消息集合XY， X表示信源发出的符号消息集合 Y表示信宿接收的符号消息集合 每个符号消息相当于一个随机事件 信源发出符号消息通过信道传递给信宿 集合XY的概率空间 信源X的概率空间为： 这里p(xi)(i= 1,2,3等)是集合X中各个消息x1,x2,x3...的概率分布，又称为先验概率 信源Y的概率空间为： 这里p(Yj)(j= 1,2,3等)是集合Y中各个消息Y1,Y2,Y3...的概率分布 收信者获得的信息量 当信宿接到集合Y中的一个yj后，接收者重新估计关于信源的各个消息xi发生的概率就变成条件概率p(xi/yj)，这种条件概率又称为后验概率。 收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。 不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。 不确定程度的减少量 当接收到yj后，重新估计xi的发生。收信者从不确定到比较确定或完全确定，依赖于所获得的信息量，可以直观地将它定义为：I(信息量) = 不确定程度的减少量 那么当接收者收到yj后，所获得的信息量为： 收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加 信息量：消除不确定性度量 互信息量等于自信息量减去条件自信息量： 从通信系统总体观察 在通信前，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立，根据概率的性质： 通信以后，输入随机变量X和输出随机变量Y之间由信道的统计特性相关联。 从通信系统总体观察 这样，通信后流经信道的信息量，等于通信前后不确定度的差： * 几个重要的概念: (1)自信息(量)； (2)互信息(量)； (3)平均自信息(量)； (4)平均互信息(量)； 第2章 信息的度量 2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息 2.1.1 自信息 随机事件的自信息量是该事件发生概率的函数，且满足以下公理化条件： 可以证明，满足以上公理化条件的函数形式是对数形式。 (1)取对数的底为2，单位为比特(bit) (2)取自然对数(底为e)，单位为奈特(nat). 1 nat = 1.443 bit. (3)以10为底，单位为哈特莱(Hartley). 1 Hartley = 3.322 bit. (4)以r为底， 1 r进制单位 = log2 r bit. 自信息量的单位与所用对数的底有关 在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用2为底的方式，一般默认为2为底： 自信息量的单位