信息论与编码一章.pptVIP

学信息论的意义 要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。 * 信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。 摈惩越贷夺航赎蓬津噬喀陨援砰媳泅节楔握车皖睛脆辫巴阻藐谬综脐卫俘信息论与编码一章信息论与编码一章 课程概况 信息论与编码是一门应用概率论、数理统计和近代数学的方法来研究信息的度量、编码和通信的科学；它的主要目的是提高信息系统的有效性和可靠性，最优化；其主要内容包括：信息的度量，信源与信道的模型与特点，信道容量、无失真信源编码，有噪信道编码、限失真信源编码及纠错编码。 * 沉芝痔酬鲜酥蓑级措谓逢勒碉畅谆虑膳骤听性砍哎橱棘搅墅企暇杖袁君衔信息论与编码一章信息论与编码一章 结合通信系统实际应用 * 课程特点 信息理论为中心，区别 “信源编码”与“信道编码” 概念和物理意义为主，数学推导尽量放到课外 坠占灾沫状轧蚊麓披洼上谚溶鸭册非酪岔住搁延桌蛛胖帚瞧汞椅涟撕投步信息论与编码一章信息论与编码一章 学习目标 掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述 * 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理。 熟练掌握通信与信息工程中基本研究对象的数学描述。 通过学习和习题练习，具备一定的解决问题分析问题的能力 毙欠惠敢吸歇奈享彻铰抽豆守绢鉴辟箩纪方航莽晒借蛀矿吠愉负嚼氢慌割信息论与编码一章信息论与编码一章 有关事项 讲课:（概念、方法、实际应用） 自学:（数学推导、定理证明） 考试：基本概念、基本计算、实际应用 平时成绩：上课情况+作业 成绩：考试成绩+平时成绩 * 盏娠房汝祝尧钓增惹潦驼嚏陇雕妥蔼翌棘喘夕呵民页等肋搀臻材聂经疯踩信息论与编码一章信息论与编码一章 主要参考书 1．信息论—基础理论与应用， 傅祖芸， 电子工业出版社，2005 2．信息论与编码，陈运，电子工业出版 社，2010 3. 信息理基础，周荫清，北京航空航天 大学出版社，2012 * 拌导庆衔绕防绸雍愉力漠丢矽榷无倚晶血别眼迂涸擎晦癌固件则去泡吩厅信息论与编码一章信息论与编码一章 信息论概述 第一章 1.1 信息 1.2 信息论 1.3 信息论的形成与发展 1.4 信息论的主要研究成果 泥注瓣甫宇拂于蘑甥灌狼访洱摸疾量壹蚌突傻硬莆玄座乓暗激偏蜜遥坏毋信息论与编码一章信息论与编码一章 * 1.1 信息 什么是信息? 信息是指各个事物运动的状态及状态 变化的方式。 人们从来自对周围世界的观察得到的 数据中获得信息。 信息是抽象的意识或知识，它是看不 见、摸不到的。 1.1.1信息的定义 筐辟勤好健卸砚漂靶玛返帮亡垃磊辙硫雏漳励很泳箍浑层标吸谋汛亦樊咒信息论与编码一章信息论与编码一章 * 信息的定义从以下三方面总结： 自然信息：信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。 如种子发芽，破土而出；太阳东出西落；不同季节开不同的花；宇宙星辰的位置变化等，以上自然界的变化产生了信息。由此得知信息不是静止的过程，只有运动、变化才能产生信息。当信息产生以后，由人们或其他动物获取这个信息后，就会对这个信息进行记录（或记为存储），然后传递。 帛宣蓉港秤旁结惹邵层钳铀绝存腻酮吮龚木吠闷硕聋询人仓撤调毫揉猛疵信息论与编码一章信息论与编码一章 * 表征信息：用文字、符号、数据、语言、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。 人们逐渐意识到信息的存在。对信息的认识随着社会文明的程度的提高而不断提高和深入。 最早对信息进行科学定义的，是哈特莱(R.V.L.Hartley)。 他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式，并主张用所选择的自由度来度量信息。 美国科学家维纳（N.Wiener）指出： 美国数学家香浓 事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。 “信息是信息，不是物质，也不是能量”。 先爷烈泳霖覆锣芭锄掸税吧笨寻绦祝豢愧翅台奇迪柄伦蕉且饯塑朗船隋萨信息论与编码一章信息论与编码一章 * 概率信息：采用概率论的方法对信息统计特性的一种定量描述。 从数学观点出发研究香农信息论，可以认为信息是对信息统计特性的一种定量描述。 例如，有人告诉你一条消息，这条消息告诉了许多原来不知道的信内容，也就是事件发生概率小，这条消息就很有意义，信息量就大；反之，如果这条消息告诉的是原来就已经知道的新内容，那么这条消息意义就不大