第1专题 什么是信息课件.pptVIP

消息（符号）的 自信息： 后验概率：条件概率 —接收端收到消息（符号） 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量） 1832年，Morse发明电报编码； 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 1948年发表“通信的数学理论”，标志着信息论的诞生； 1948年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究； * 聊城大学物理科学与信息工程学院 第一专题 什么是信息？ 第1专题 什么是信息？ 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的