量子物理与信息技术.pptxVIP

第2章 信息的度量石志国北京科技大学电子信息系1 几个重要的概念: (1)自信息(量)； (2)互信息(量)； (3)平均自信息(量)； (4)平均互信息(量)；第2章 信息的度量2.1 自信息和互信息2.2 平均自信息2.3 平均互信息2 不确定性、惊讶度与信息量在事件发生前有不确定性在事件发生时有惊讶度在事件发生后有信息量当一个概率很低的随机事件发生时，会感到非常惊讶，并得到很大的信息量比如： 9.11事件，美国纽约世贸大厦被炸3 自信息量从信息源获取信息的过程就是其不确定性缩减的过程随机事件包含的信息与其不确定性紧密相关在统计分析中，使用概率作为衡量不确定性的一种指标可以推论出：随机事件包含信息的度量应是其概率的函数。4 2.1.1 自信息随机事件的自信息量是该事件发生概率的函数，且满足以下公理化条件：可以证明，满足以上公理化条件的函数形式是对数形式。5 (1)取对数的底为2，单位为比特(bit)(2)取自然对数(底为e)，单位为奈特(nat). 1 nat = 1.443 bit.(3)以10为底，单位为哈特莱(Hartley). 1 Hartley = 3.322 bit.(4)以r为底， 1 r进制单位 = log2 r bit.自信息量的单位与所用对数的底有关在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用2为底的方式，一般默认为2为底：自信