第4章 应用密码学-Shannon信息论(精品·公开课件).ppt

第三章 Shannon 理论 王 滨 2004年3月7日 香农简介 香农(1916-2001),生于美国密执安州的加洛德。1940年获得麻省理工学院数学博士学位和电子工程硕士学位。1941年他加入了贝尔实验室数学部，在此工作了15年。 香农简介 香农在信息论的领域中钻研了8年之久，终于在1949年在《贝尔系统技术杂志》发表了244页的长篇论著---《保密系统的通信理论》。次年，他又在同一杂志上发表了另一篇名著---《噪声下的通信》。 香农理论简介 第一篇文章奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代的基本概念：熵。 　　 “熵”的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概率分布的理论给出“熵”的严格定义。 根据香农的定义，确定发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。只有当发生与不发生 的概率相同时，事件的熵才达到极大。 香农理论简介 在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通讯的传输速 率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情 况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。 香农理论应用 如今，这两个原理已广泛应用于信息处理和实际通信中。只要涉及信息的压缩与传递，就要用到香农的理论。 PC机上常用的WinZip (无损压缩算法) 手机通讯 (有损压缩?无损压缩,纠 错) 在因特网上传递多媒体数据 （MP3音乐压缩格式） 第三章 Shannon保密理论 密码体制的数学模型 随机事件的熵及其性质 通信系统 保密系统 保密系统 设计目的：使得窃听者即使完全准确地接 收带了信道上传输的信号也无 法恢复出原始的信息。 密码体制的数学模型 明文(离散信源)空间的统计特性：无记忆和有记忆 密钥源通常是无记忆的，并且满足均匀分布 密文空间的统计特性由明文空间和密钥空间的统计特性决定 假定信道无干扰，假定分析者能够截获密文，且知道所用的密码体制以及明文空间和密钥空间的统计特性 随机事件和随机变量 定义1：设一个实验有 共n个可能的结果，则每个可能结果都称为一个事件。这个实验也称为一个随机事件。 性质1：设X是一个离散随机变量，它有n个可能的取值　　　　　，设每种取值出现的概率为p(xi),则 熵的数学定义 定义3.1(随机事件的熵):设一个实验X有 共n个可能的结果,则称 的数学期望 为实验X的熵(Entropy). 其中约定 0log0 = 0. 引理3.1(Jensen不等式) 　　设 f 是区间I上的一个连续的严格凸函数,　并 且 , 则有 且上述等号成立的充要条件是 下节内容 分组密码 定义3.3(条件熵): 实验X与实验Y的可能结果分别为 和 .定义X与Y的条件熵为 (1) 称 为在实验Y的结果为 yj的条件下,事件xi的条件自信息量. 　　为在实验Y的结果为yj的条件下,实验X的条件熵. (2)称 (3) 称 为在实验X关于实验Y的条件熵. 反映了 Y的结果是yj条件下,实验X包含的信息量. 反映了 Y的结果已知条件下,实验X平均包含的信息量. 联合熵与各自的熵的关系 定理3.2 且等号成立的 充要条件是X与Y独立. 两个实验提供的信息总量一定不超过这两个实验分别提供的信息量之和;当且仅当两个实验独立时,二者才相等. 直观含义: 证明 (1) 因 ,故有 下证 . 再由 和 得 现代密码学 解放军信息工程大学电子技术学院 * 信源 编码器 解码器 接收者 干扰源 信道 设计目的：在信道有干扰的情况下，使得接收者接 收到的信息