第4章应用密码学_Shannon信息论.pptVIP

第三章 Shannon 理论;香农简介;香农简介;香农理论简介;香农理论简介;香农理论应用;第三章 Shannon保密理论;通信系统;保密系统;保密系统;密码体制的数学模型;§3.2 随机事件的熵及其性质 主要内容: 如何定量刻划一个随机事件包含的信息量 用熵的概念! 熵(entropy)这个数学工具自身的理论. ;何为信息? 什么能提供信息? 我将你原来不知道的结果告诉你,就是提供了信息! 例1 当我给你一封信时，你就从我这里获得了信息，因为你事先并不知道其中的内容。 例2 设电脑彩票由8个10进制数组成.在开奖之前，我们不知道特等奖号码的信息，因为特等奖的号码是不确定。特等奖号码的信息只有在开奖时才获得。一旦开奖，就获得了8个十进制数的信息。 这就是说，将未知的变成已知的时就获得了信息！ 信息寓于不确定之中！;信息量;简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信息. 信息寓于不确定之中！ 谁的信息! 通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息. 　　　其中(1)和(2)的含义相同,它们比(3)的意义更　　 加广泛. ;随机事件和随机变量; 一、随机事件的熵;例3 设电脑彩票由8个10进制数组成，在开奖之前，108个可能号码成为特等奖的概率相同,都是10-8.一旦开奖,我们就知道了特等奖的8个具体号码,因而就获得了8个十进制数的信息。 我们获得的信息量与开奖前每个可能号码成为特等奖的概率10-8有何关系? 显然,有 8 = - log10 10-8 信息量的定量刻划:;熵的数学定义;　因此,一个实验的熵就是该实验的每个可能结果包含的自信息量的平均值! 　熵的单位与对数的底有关! 　约定对数的底大于1! 当以2为底时,其单位称为比特(bit); 当以10为底时,其单位称为迪特(Det);; 例5设一个实验有a和b两个可能的结果,且实验结果是a和b的概率分别为1/4和3/4,试计算该实验的熵.; 　　下面介绍熵的性质.;引理3.1(Jensen不等式); 　　推论1 f (x)=logb x (b1)在区间x 0时是严格　　　 凸的,因而当实数 满足 且 有：; ; 定理3.1 设b1,则有 ;(3)充分性:; 定理3.1说明: (1) 结果确定的随机事件不提供信息量, 因而提供的信息量最少! (2) 可能结果等可能发生的随机事件提供 的包含的信息量最大! 这与我们的直觉是一致的!; 现实中的事件都不是孤立的! 很多随机事件之间都有相互的联系和影响!那么,如何刻划和研究多个随机事件相互 提供的信息呢? 这就要引入两个实验的 联合熵 条件熵 互信息 等概念！; 因此,实验X与实验Y的联合熵(Joint Entropy)就是事件(xi ,yj )的自信息量的数学期望. 它反映了联合分布p(x, y )包含的信息量.; 定义3.3(条件熵): 实验X与实验Y的可能结果分别为 和 .定义X与Y的条件熵为;(3) 称;联合熵与各自的熵的关系;证明;因;将上述推理过程中出现≤的地方保留,就是;对所有的i, j 都成立,故有;联合熵与条件熵的关系;联合熵与条件熵的关系;联合熵与熵的关系; 定义3.3(平均互信息): 称;下节内容