信息论2016汇编.pptVIP

Shannon Theory dead or alive 信息论的主要贡献 把统计信息定义为“用来消除信息接收者某种认识上的不定性的东西”，并给出了其度量公式：熵和互信息； 建立了一些重要的性能界： 信源输出的最大可能的信息量 满足一定失真度的要求所必须传递的 最小信息量 信道最大可能通过的能力等 建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段发展到科学高度。 五.知识要点 掌握信息论的基本概念：熵、互信息和鉴别信息。 了解信息论针对信息传输、存储及压缩的基本理论。 了解信息准则取代最小二乘（均方差）准则作为信息工程的普遍准则，掌握其应用方法。 六.参考书目 朱雪龙，应用信息论基础。清华出版社，2001年。 傅祖芸，信息论—基础理论与应用。电子工业出版社，2001年。 周炯槃，信息理论基础。人民邮电出版社，1983年。 沈连丰 等，信息论与编码，科学出版社，2004年 熵 Entropy 1.1 不确定性与自信息 对于通信系统，其传递的信息是具有随机性。定量描述信息应基于随机事件。 随机事件的重要特性：结果具有不确定性。 例： （1）第一次出门遇见的乌鸦的颜色是白色。 X （2）第一次出门遇见的人用手习惯是左撇子。 Y （3）第一次出门遇见的人的性别是女性。 Z X x1,x2 白，黑） Y （y1,y2 左，右） Z （z1,z2 女，男） 判断X x1,Y y1,Z z1的不确定性: p x1 p y1 p z1 X x1白发生的可能性, Y y1左发生的可能性, Z z1女发生的可能性 在不确定性方面: X?x x1 Y? y y1 Z?z z1 随机事件发生的不确定性与发生的概率有关 不确定性的量化： 随机事件发生的不确定性为概率的函数，设为 f pi , 该函数应具有如下性质： （1）单调性： pi?? f pi ? 2 f pi 非负 f pi 0：任何随机事件发生存在不确定性。 （3）可加性 多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。 例： 事件X x1,Y y1同时发生，其发生概率为 p X x1,Y y1） p x1 p y1 ，而 f 应满足： f p X x1,Y y1） f p x1 +f p y1 f 能够将积变成和的功能。可设为对数函数： 随机变量X取值xi的概率为pi，则其取值xi的不确定性的量度f pi 可用下面函数表示： f pi 为随机事件X取值xi所带来的自信息。 信息量：消除不确定性所获得的信息。 信息量 不确定性的减少量 不确定性消除的量就是我们所获的信息量 * 网络资源：数据、信息、知识资源、计算资源、传输资源、存储资源、应用（软件）资源和人机接口资源等；网络资源的不稳定性严重阻碍了网络资源的最大化共享服务与流通。 信息资源：数据，信息，知识 信息基础设施资源：网络拓扑，网络计算，网络存储，网络传输 人-机-人交互：人对信息的交互，人对信息基础设施的交互，人-人的交互（互操作） 信 息 论 基 础Fundamentals of Information Theory 前言 信息的概念 信息论产生背景 Shannon及其影响和贡献 Shannon信息论的局限性 课程知识要点 参考文献 一. 信息的概念 信 息 Hartley,1928 信息是选择的自由度 《贝尔系统技术杂志》：《信息传输》 把信息理解为选择通信符号的方式，且用选择的自由度来计量这种信息的大小。哈特莱认为，任何通信系统的发信端总有一个字母表（或符号表），发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。 Wiener,1948 信息就是信息，既不是物质也不是能量 信息是有序性的度量 信息是系统组织程度的度量 信息是通信传输的内容 信息是控制的指令 信息是人与外界相互作用的过程中所交换的内容的名称 Brillouin,1956 信息是加工知识的原材料 信息是负熵 《科学与信息论》 Longo,1975 信息是事物之间的差异 信息是一种关系 《信息论：新的趋势与未决问题》一书的序言：信息是反映事物的形式、关系和差别的东西，它包含在事物的差异之中，而不在事物本身。 定义 众说纷云 缺乏：完整、明确、为世人所普遍公认的。 原因：对信息的本质认识还不够。 特点：从不同侧面，层次上揭示信息的特性。 哲学 信息是客观事物状态和特征的反映，具有形式和内容之分。 1 简单分类 广义信息