信息论基础绪论.pptxVIP

课程信息教材及主要参考书： ① 《信息论基础与应用》 李梅 电子工业出版社， 2016年6月 ② 《信息论---基础理论与应用》，傅祖芸 电子工业出版社，2001年8月考核：平时成绩 20％（作业、考勤、实验） 期末考试 80％（闭卷）答疑：实践性教学内容、要求及学时分配实验一：信道容量的迭代算法2 学时实验二：Huffman 编码2 学时实验三：通信系统仿真4 学时 （备选题目：LZW压缩编码）国外参考教材T. M. Cover, Fundamental of Information Theory?? 最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用?? 数学推导适中，强调概念，作为参考教材R.G. Gallager, Information Theory and Reliable Communication?? 数学推导较为艰深?? 作为提高教材第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展第一章：绪论1.概述2.信息的通俗概念3.信息的狭义概念（香农信息）4.信息的广义概念一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展第一章：绪论什么是信息通信系统模型研究内容形成和发展1.概述组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。 ——美国学者欧廷格第一章：绪论什么是信息通信系统模型研究内容形成和发展2.信息的通俗概念 信息的通俗概念：消息就是信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。消息中包含信息，消息是信息的载体。第一章：绪论什么是信息通信系统模型研究内容形成和发展2.信息的通俗概念（续1）信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息消息信号第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息）香农信息：信息是对事物运动状态或存在方式的不确定 性的描述。通信的过程就是消除不确定性的过程。通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所选择的消息。———— 香农第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续1）例1： 甲袋红、白球各50个，乙袋红、白、蓝、黑球各25个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续2）例2： 北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为“晴”和天气预报为“雪”，给人们带来的信息量。结论：不确定性的大小与事件发生的概率有关。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续3）不确定性的大小与事件发生的概率有关不确定性是概率的函数因此，信息量可以表示为概率的函数。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续4）信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1，那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续5）某个消息的不确定性（含有的信息量）可以表示为：信源的平均不确定性：第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续6）香农信息的优点：有明确的数学表达式，定量化与人们直观理解的信息含义一致不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。第一章：绪论什么是信息通信系统模型研究内容形成和发展3.信息的狭义概念（香农信息） （续7）香农信息的局限：没有考虑收信者的主观特性和主观意义第一章：绪论什么是信息通信系统模型研究内容形成和发展4.信息的广义概念信息是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。语法信息语义信息语用信息第一章：绪论一、什么是信息1. 通信系统模型2. 提高通信系统的性能指标的措施二、通信系统模型三、信息论的研究内容四、信息论的形成和发展第一章：绪论什么是信息通信系统模型研究内容形成和发展1. 通信系统模型图1 通信系统模型第一章：绪论什么是信息通信系统模型研究内容形成和发展1. 通信系统模型（续1）信源编码器信道译码器信宿第一章：绪论什么是信息通信系统模型研究内容形成和发展1. 通信系统