李梅 李亦农 《信息论基础教程》 课件教案 第一章 绪论.pptVIP

李梅，女，1969年7月生，博士，副教授，硕士生导师。1991年毕业于北京邮电大学通信工程专业，学士，2003年毕业于北京工业大学计算机应用技术专业，硕士，2011年获中国地质大学（北京）地球物理仪器方向博士。 2003年至今在中国地质大学（北京）工作，主要从事信号与信息处理的教学和科研工作。主讲课程：《信息理论与编码》、《虚拟仪器技术》、《现代数字信号处理》。主要研究与招生方向：信号采集与信息处理、通信与网络技术、地球物理仪器。 目前是科技部创新基金评审专家、海淀区科委科技项目评审专家、北京市科技咨询中心专家库成员、中国电子学会高级会员、中国仪器仪表学会高级会员。 已出版教材： 李梅，李亦农. 信息论基础教程（第二版）. 北京：北京邮电大学出版社，2008 李梅，李亦农. 信息论基础教程习题解答和实验指导（第二版）. 北京：北京邮电大学出版社， 2011 刘文林，李梅，李洪. 组网工程. 北京：北京邮电大学出版社，2008 刘文林，李梅，吴誉兰. 计算机系统安全. 北京：北京邮电大学出版社，2009 研究内容： 信道的统计特性 无噪声信道、有噪声信道 离散信道、连续信道、波形信道 有记忆信道和无记忆信道 恒参信道（平稳信道）和随参信道（非平稳信道） 单用户信道和多用户信道 信道传输信息的最高速率 信道容量 1. 通信系统模型（续10） 第一章：绪论 研究内容 形成和发展 什么是信息 通信系统模型 4）译码器 译码器的功能：从接收到的信号中恢复消息。 包括： 解调器 信道译码器 信源译码器 第一章：绪论 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续11） 第一章：绪论 图4 译码器的组成 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续12） 5）信宿 信宿是消息传送的对象（人或机器）。 香农信息论不研究信宿。 第一章：绪论 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续13） 第一章：绪论 提高有效性： （数据压缩） 信源编码：无失真信源编码和限失真信源编码 提高可靠性： （可靠传输） 信道编码 2.提高通信系统性能指标的措施 研究内容 形成和发展 什么是信息 通信系统模型 第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 信息论研究的主要问题 2. 什么是信息论 3. 信息论的应用 1. 信息论研究的主要问题 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 狭义信息论：又称香农信息论。 一般信息论：也叫工程信息论。 广义信息论 广义 信息论 一般 信息论 狭义 信息论 ? 1. 信息论研究的主要问题（续1） 1）什么是信息？如何度量信息？ 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 2）怎样确定信源输出信息的速率？ 3）对于一个信道，它传输信息的最高速率（信道容量）是多少？ 1. 信息论研究的主要问题（续2） 4）无失真信源编码，所需要的最少码符号数是多少？ 第一章：绪论 香农第一定理： 如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。 通信系统模型 形成和发展 什么是信息 研究内容 1. 信息论研究的主要问题（续3） 5）在有噪声信道中，有没有可能实现几乎无差错的传输信息？ 第一章：绪论 香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。 通信系统模型 形成和发展 什么是信息 研究内容 1. 信息论研究的主要问题（续4） 6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？ 第一章：绪论 香农第三定理：对于任意的失真度 ，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率 ，而码的平均失真度 。 通信系统模型 形成和发展 什么是信息 研究内容 信息论是通信的数学基础，它以概率论为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。 信息论创立的标志:香农于1948年发表 的论文： —— A Mathematical Theory of Communication （通信的数学理论） 2. 什么是信息论 通信