信息论知识点_山东科技大学概要1.docxVIP

第一章：1、信息论的诞生:香农1948年《通信的数学理论》2、信息科学和材料、能源科学一起被称为当代文明的“三大支柱”3、信息、消息和信号区别与联系：消息中包含信息，是信息的载体。信号携带着消息，它是消息的运载工具（物理体现）。信息是由具体的物理信号、数学描述的消息的内涵。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。4、什么是信息？关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。1928年，美国数学家哈特莱(Hartley) 在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。5、信息的特质：信息是独立于物质和能量之外存在于客观世界的第三要素。6、1948年，香农(C.E.Shannon)发表了一篇著名的论文，“通信的数学理论”。他从通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。信息是事物运动状态或存在方式的不确定性的描述。7、通信系统模型8、信源：产生消息和消息序列的来源。9、消息：可以是离散的，也可以是连续的(数据、文字、语言、图像)，通常信源的消息序列是随机发生的，因此要用随机变量来描述。10、干扰源加性干扰:信道的输出是输入和干扰的叠加；乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果。11、香农定义信