信息论与编码第一章绪论.pptVIP

研究内容：信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道有记忆信道和无记忆信道恒参信道（平稳信道）和随参信道（非平稳信道）单用户信道和多用户信道信道传输信息的最高速率信道容量1.通信系统模型（续10）第一章：绪论研究内容形成和发展什么是信息通信系统模型1.通信系统模型（续11）4）译码器译码器的功能：从接收到的信号中恢复消息。包括：解调器信道译码器信源译码器第一章：绪论研究内容形成和发展什么是信息通信系统模型第一章：绪论图4译码器的组成研究内容形成和发展什么是信息通信系统模型1.通信系统模型（续12）1.通信系统模型（续13）5）信宿信宿是消息传送的对象（人或机器）。香农信息论不研究信宿。第一章：绪论研究内容形成和发展什么是信息通信系统模型第一章：绪论提高有效性：（数据压缩）信源编码：无失真信源编码和限失真信源编码提高可靠性：（可靠传输）信道编码2.提高通信系统性能指标的措施研究内容形成和发展什么是信息通信系统模型第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展1.信息论研究的主要问题2.什么是信息论3.信息论的应用1.信息论研究的主要问题第一章：绪论通信系统模型形成和发展什么是信息研究内容狭义信息论：又称香农信息论。一般信息论：也叫工程信息论。广义信息论广义信息论一般信息论狭义信息论?1.信息论研究的主要问题（续1）1）什么是信息？如何度量信息？第一章：绪论通信系统模型形成和发展什么是信息研究内容2）怎样确定信源输出信息的速率？3）对于一个信道，它传输信息的最高速率（信道容量）是多少？课程信息教材及主要参考书：《信息论基础教程》第二版李梅,李亦农北京邮电大学出版社，2008年10月《信息论---基础理论与应用》，傅祖芸电子工业出版社，2001年8月考核：平时成绩20％（作业、考勤、实验）期末考试80％（闭卷）答疑：实验一：信道容量的迭代算法2学时01实验二：Huffman编码2学时02实验三：通信系统仿真4学时03（备选题目：LZW压缩编码）04实践性教学内容、要求及学时分配国外参考教材T.M.Cover,FundamentalofInformationTheory

??最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用

??数学推导适中，强调概念，作为参考教材R.G.Gallager,InformationTheoryandReliableCommunication

??数学推导较为艰深

??作为提高教材什么是信息通信系统模型信息论的研究内容信息论的形成和发展第一章：绪论第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展1.概述2.信息的通俗概念3.信息的狭义概念（香农信息）4.信息的广义概念1.概述组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。——美国学者欧廷格研究内容形成和发展什么是信息通信系统模型第一章：绪论2.信息的通俗概念信息的通俗概念：消息就是信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。研究内容形成和发展什么是信息通信系统模型第一章：绪论消息中包含信息，消息是信息的载体。2.信息的通俗概念（续1）信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息信号消息研究内容形成和发展什么是信息通信系统模型第一章：绪论3.信息的狭义概念（香农信息）第一章：绪论研究内容形成和发展什么是信息通信系统模型香农信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所选择的消息。————香农通信的过程就是消除不确定性的过程。3.信息的狭义概念（香农信息）（续1）第一章：绪论例1：