第一章 绪论 信息论与编码 课件.pptVIP

曲炜，朱诗兵，信息论基础及应用，清华大学出版社，2005 信息论与编码，陈运、周亮、陈新，电子工业出版社，2007 傅祖芸，信息论与编码，电子工业出版社，2004 周荫清，信息论基础(第3版)，北京航空航天大学出版社，2006 “信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息； 知识是信息，但不等于信息的全体； “信息”不同于信号 把消息变换成适合信道传输的物理量，就是信号；信号是承载消息的物理量； 仙农从研究通信系统传输的实质出发，对信息做出了科学的定义； 仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。 信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小； 由以上两点可知：概率小? 信息量大，即信息量是概率的单调递减函数； 此外，信息量应该具有可加性； 信源：消息的来源，如文字、语音、图像等 编码器：把消息变换成信号，如信源编码、纠错编码、调制器 信道：传递信号的媒介，如电缆、光纤、无线电波等 噪声：信道中的干扰，如加性干扰、乘性干扰 译码器：把信道输出的信号反变换，解调器、纠错译码器、信源译码器 信宿：信息的接受端，接收消息的人或物 信源：消息的来源 编码器：把消息变换成信号 信道：传递信号的媒介 译码器：把信道输出的信号反变换 信宿：信息的接受端 噪声：信道中的干扰 电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的； 在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用，应用越来越普遍； 计算机的运算速度很高，要保证它几乎不出差错，相当于要求有100年的时间内不得有一秒钟的误差，这就需要利用纠错码来自动地及时地纠正所发生的错误； 每出版一本书，都给定一个国际标准书号（ISBN），大大方便图书的销售、编目和收藏工作。 信息论是在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。 奈魁斯特：在1924年研究影响电报传递速度的因素时,就察觉到信息传输速度和频带宽度有关系; 哈特莱(Hartley)：在1928年用概率的观点来分析信息传输问题; 仙农（Claude E.Shannon)：1948年发表《通信的数学理论》(A Mathematical Theory of Communication),为创立信息论作出了决定性的贡献;香农因此成为信息论的奠基人。 维纳(N. Wiener)等：为信息论的进一步发展和拓展作了大量工作;主要在通信的统计理论与滤波器理论方面。 东北大学秦皇岛分校自动化工程系 2010年3月 主讲：苗立刚 ligangmiao@ 实验楼417 电话: 8048018 信息论与编码 课程目标与安排 它是信息处理方向的一门重要的专业基础课，是后续课程的基础，如通讯原理、数字图像处理、语音信号处理等。 介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程分为基础理论和编码理论两部分组成。 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。 注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习。 课程特点 学 时：32 考试方式：闭卷 考试成绩：平时成绩*20% + 考试成绩*80% 课程目标与安排 第一章 绪论 第二章 信源熵 第三章 信道容量 第四章 信息率失真函数 第五章 信源编码 第六章 信道编码 第七章 密码体制的安全性测度 课程内容安排 课程目标与安排 课程目标与安排 参考书 有关的课程 高等数学，概率论，线性代数 苗立刚 ligangmiao@ 实验楼417 东北大学秦皇岛分校自动化工程系 2010年3月 第一章 绪论 信息论基础 第一章 绪论 信息的有关概念 通讯系统模型 信息论的形成和发展历史 本章主要讨