课件信息论基础东南大学祥解.ppt

信息论基础 东南大学计算机学院 信息 信息科学 信息论 信息:某人被通知或告知的内容,情报,消息.信息作为技术术语被广泛使用是在计算机,特别是微处理器得到广泛应用以后的事. 信息作为一个可以用严格的数学公式定义的科学名词首先出现在统计数学中,随后又出现在通信技术中,是一种统计意义上的信息.统计信息是非常明确的,其适用范围比广义信息狭义的多. 信息 信息科学 信息论 信息科学:作为一个名词,最早出现在图书馆学中,主要研究图书文献的检索.在计算机出现以后,信息科学被赋予新的含义.但在不同国家中它的含义不尽相同.在日本信息科学的含义和美国的计算机科学的含义相似,主要研究科学计算的理论和方法.而在美国信息科学原先主要指科学计算以外,如商业,服务业,管理统计部门等所需要的,涉及大量数据但计算比较简单的数据处理问题.20世纪80年代以来,信息科学的含义不断扩大,不但逐渐把计算机科学的内容统一包含在内,而且有把信息技术涉及的所有科学理论统统包含在内的趋势. 信息 信息科学 信息论 信息论:是信息科学的基本理论.从历史上看信息论的形成是两部分人共同努力的结果,一部分是通信工程方面的学者,另一部分是统计数学家,这两部分人虽然研究的是同一领域的问题,但他们感兴趣的方面和侧重点是有差异的.这种情况从信息论产生时起一直保持到现在,今天从事信息论研究工作的人仍然由这两部分人组成. 1 信息论研究的对象 信息论研究的核心问题是信息的传输和处理.把各种通信系统中具有共同特点的部分抽象出来,概括成一个统一的理论模型,通常称这个模型为通信系统的基本模型. 通信系统的理论模型 信源 编码器 信道 译码器 信宿 信源：信源是产生消息和消息序列的源头.消息通常是符号序列或时间函数,消息取值服从一定的统计规律,所以信源的数学模型可以是一个离散的随机序列或连续的随机过程. 编码器：编码是消息变换成信号的措施,编码器输出的是适合信道传输的信号,信号携带消息,它是消息的载荷者. 信源编码的任务是提高信息的传输效率＆信道编码的任务是提高信息传输的可靠性 信源 编码器 信道 译码器 信宿 信道：通信系统中把载荷消息的信号从甲地传输到乙地的媒介或通道.在侠义的通信系统中,信道有明线,电缆,波导,光纤,人造卫星,无线电传播空间等,这些都是属于传输电磁波能量的信道.在信道中引入噪声和干扰是一种简化的表达方式.为了分析方便起见,把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰,看成是由一个噪声源产生的,它将作用于所传输的信号上,这样,信道输出的已是叠加了干扰的信号,由于干扰或噪声往往具有随机性,所以信道的特性也可以用概率空间来描述. 信源 编码器 信道 译码器 信宿 译码器：译码把信道输出的编码信号（已叠加了干扰）进行逆变换.译码器也可分成信源译码器＆信道译码器. 信宿：信宿是消息传送的对象,即消息的接收者. 编码与译码 MH码表 一 尾码表（同一符号重复出现而形成的字符串长度称为游程长度） MH码表 一 尾码表 MH码表 二 组合基干表 MH码表 三 供加大纸宽用的组合基干表 1792~2560,黑、白相同 信息传输的高效性和可靠性 高效性：系统的经济效果好。即用尽可能短的时间和尽可能少的设备传送一定数量的信息。 可靠性：系统的保真效果好。即要使信源发出的消息经过信道的传输后，尽可能准确、不失真地再现在接收端。 信源编码器：通过压缩消息的平均编码长度，提高消息传输的效率。 信道编码器：通过增加码字的编码的长度，提高码字在信道中自我纠正因干扰产生的错误能力。 以计算机为核心的大规模信息网络通信系统的理论模型 2 信息论研究的目的 信息论研究的目的就是要找到信息传输过程中的共同规律,以提高信息传输的有效性,可靠性,保密性,认证性,达到信息传输系统最优化. 有效性研究面对的模型 可靠性研究面对的模型 保密性、认证性研究面对的模型 3 信息论研究的内容 1 狭义信息论 经典信息论 .主要研究信息的测度,信源编码和信道编码,以及信道容量理论.这部分理论是信息论的基础理论，理论的创始人是香农，所以又称为香农理论. 3 信息论研究的内容 2 一般信息论.主要也是研究信息传输和处理问题,除了香农理论以外,还包括噪声理论,信号滤波和预测,统计检测和估计理论,调试理论,信息处理理论以及保密理论.后一部分内容的主要贡献者是维纳 N.Wiener 和柯尔莫哥洛夫 A.Kolomogorov 等人的. 3 信息论研究的内容 3 广义信息论.不仅包括上述两方面的内容,而且包括所有与信息有关的自然和社会领域,如模式识别,计算机翻译,心理学,遗传学,神经生理学,语言学,语义学甚至包括社会学中有关信息的问题. 综上所述 信息论是一门应用概率论,随机过程,数理统计和高等代数的方法来研