第一章信息论与编码绪论.ppt

目的： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础。 课程内容 信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 参考书 1．信息论—基础理论与应用， 傅祖芸编，电子工业出版社，2001 2．信息论与编码，陈运编著，电子工业出版社，2002 3. 信息理论与编码，吕锋等编著，人民邮电出版社，2004 信息论的主要研究成果 语音信号压缩 长途电话网标准 1972年CCITT G.711标准中的 64kbit/s， 1995年 CCITT G. 723.1标准中的 6.3 kbit/s。 移动通信中 1989年GSM标准中语音编码速率为13.2 kbit/s 1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6 kbit/s 军用通信 美国NSA标准的速率在1975年已达2.4 kbit/s 目前在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限 信息论的主要研究成果 图像信号压缩 图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便 。 1989年 CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:1到48:1左右 1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1 在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。 信息论的主要研究成果 降低信息传输所需的功率 在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。 正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施 信息论的主要研究成果 计算机网中数据传输可靠性的保证 在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。 一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-3～10-5。这样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。 差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。 * * 是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的有效性和可靠性，最优化；其主要内容（或分支）包括：香农理论、编码理论、维纳理论、检测和估计理论、信号设计与估计理论、调制理论和随机噪声理论。 信息论与编码 课程概况 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用 特点： 教学目标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述 学信息论意义 信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。 要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。 有关事项 讲课:（概念、方法、实际应用） 自学:（数学推导、定理证明） 考试：基本概念、基本计算、实际应用 平时成绩：上课情况+作业 成绩：考试成绩+平时成绩+实践成绩 第一章 绪论 1.1 信息 1.2 通信系统 1.3 信息论的形成和发展 1.1 信息 信息是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信息。 信息是抽象的意识或知识，它是看不见、摸不到的。 人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论