信息论与编码课件第一章.ppt

开篇寄语 每一次面对新同学，我的内心总是很忐忑，因为不管你们信不信，反正我深深地相信：90后的大学生，伤不起啊！ 你们生长在一个拼爹的年代，如果你没有一个名爹，那就一定要hold住自己！上课的时候尤其要hold住自己的手机，既不要让它上QQ聊天，也不要到农场偷菜！ 开篇寄语 不要以为老师是什么潮人，因为信息论是枯燥的，因而也非常的干燥，老师怎么可能潮得起来呢！ 中央电视台李咏主持有一档节目叫“非常6+1”，陈景润研究的哥德巴赫猜想被人称为“1+1”，其实信息论也可看作“2+3”。所以，这门课主要是要搞懂“2”和“3”！ 信 息 理 论 基 础 Fundamentals of Information Theory 教师情况 教师：李红莲 副教授 博士 电子信息工程系 （2-513东） E-mail: honglianli@263.net, lihonglian@bistu.edu.cn Mobile: 授课、考试有关安排 学时数: 讲课 32学时 实验 8学时（10，14周周五9-12节?，计算中心） 上课时间和地点: 第1-4,6-16周一3、4节，1-四阶 第8周二1、2节，3-五阶 考试时间： 第17周左右 考试成绩计算： 作业+实验 ：30% ； 期末考试：开卷 70% ； 答疑时间： 每周三第5、6节课（13:30-15:30） 答疑地点： 2-513东 信息论基础的重要性 信息论是信息科学和技术的基本理论,是信息科学大厦的地基; 没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情; 总之,信息论是高层次信息技术人才必不可少的基础知识。 信息论基础的重要性 信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后续课程、将来进一步从事通信和信息领域的科研和创新。 要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。 教学目标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法(用信息论的思想和观点) 对学习者的要求 三个重要环节 课前预习 课上认真听讲 课后认真复习消化、做作业 经常进行阶段复习 掌握知识的窍诀：反复思维实践 其他约定 不得迟到、早退、缺课，有事请假 上课时请关闭手机（或调至振动） 作业不得用纸片信纸之类，必须使用作业本 迟交的作业及纸片做的作业恕不修改，只作记录 《信息理论基础》的内容 信息论的基本问题--信息与信道的度量 无失真信源编码定理--香农第一定理 信道编码定理--香农第二定理 限失真信源编码定理--香农第三定理 Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息 内容安排 第一章 绪论 2学时 第二章 信源和熵 8学时 第三章 信道及其容量 6学时 第四章 离散信源的无失真编码 6学时 第五章 信道编码 4学时 第六章 限失真信源编码 4学时 复习 2学时 第一章 绪 论 一、信息的概念 二、信息论产生背景 三、信息论的发展简史 四、信息论的应用 五、信息论研究的内容 六、参考书目 历史回顾: 信息传输方式的变迁 在人类的历史长河中，信息传输和传播手段经历了五次变革： 第一次变革：语言的产生 第二次变革：文字的产生 第三次变革：印刷术的发明 第四次变革：电报、电话的发明 第五次变革：计算机技术与通信技术相结合，促进了网络的发展。 历史回顾: 信息传输方式的变迁 我国上古时期的“结绳记事”法，史书上有很多记载。 汉朝郑玄的《周易注》中记载：“古者无文字，结绳为约，