密码学第4讲Shannon信息论.ppt

第三章 Shannon理论 香农简介 香农(1916-2001)生于 美国密执安州的加洛德。 1940年获得麻省理工学 院数学博士学位和电子 工程硕士学位。1941年 他加入了贝尔实验室数 学部,在此工作了15年。 现代码 香农简介 香农在信息论的领域 中钻研了8年之久,终于 在1949年在《贝尔系统 技术杂志》发表了244页 的长篇论著-《保密系统 的通信理论》。次年,他 又在同一杂志上发表了另 篇名著-《噪声下的通 信》 现代码 香农理论简介 第一篇文章奠定了香农信息基本理论的基础 他在文中用非常简洁的数学公式定义了信息时代 的基本概念:熵 “熵”的概念起源于热力学,是度量分子不 规则热运动的单位。香农的伟大贡献在于,利用 概率分布的理论给出“熵”的严格定义 根据香农的定义,确定发生的事件如“太阳 从东边升起”与确定不发生的事件如“太阳从西 边升起”,其熵都是零。只有当发生与不发生的 概率相同时,事件的熵才达到极大 现代码 香农理论简介 在熵的基础上定义的信道容量也是通讯中一个至关重 要的概念。由此,香农推出了一个公式,明确表达了在不 同噪声情况下传输速率与失真的定量关系。从这一个公式 导出的为达到无失真通讯的传输速率的极限,现已称为 香农极限。打个比方来说,在周围干扰严重的情况下, 要想使对方听清楚,你就只有慢慢地讲,甚至还要不断重 复。信道的极限、无差错的信息传输速率C可表达为 C=Wlog2 (1+S/M b/s W为信道的带宽(以Hz为单位); S为信道内所传信号的平均功率; N为信道内部的高斯噪声功率。 现代码