信息论与编码基础资料.pdfVIP

第一章 绪论 1、 识记内容 1、 信息论是应用近代数理统计的方法研究信息传输、存储和处理的科学，是在长期通信工程实践中发展起来的一 门新兴学科，亦称为通信的数学理论。 2、 信息论的奠基人是香农。 3、 1948 年发表的 《通信的数学理论》为信息论的诞生和发展奠定了理论基础。 4、 香农提出信息熵的概念，为信息论和数字通信奠定了基础。 5、 物质、能源、信息构成了现代社会生存发展的三大基本支柱。 6、 信息载荷在语言、文字、数据、图像等消息中。 7、 从本质上讲，信息是人们对客观事物运动规律及其存在状态的认识。 8、 信息的价值 ①为人们能动地改造外部世界提供了可能； ②信息所揭示的事物运动规律为人们应用这些规律提供了可能； ③信息所描述的事物状态为人们推动事物想着有利的方向发展提供了可能。 9、 信息、消息以及信号之间的区别与联系 ①信息是人们对客观事物运动规律及其存在状态的认识。 ②消息是指包含有信息的语言、文字和图像等。 ③信号是消息的物理体现。 10、载有信息的可观测、可传输、可存储及可处理的信号均称为数据。 11、信息的基本概念是不确定性。其特征有 ①接受者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。 ②信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。 ③信息可以产生，也可以消失，同时信息可以被携带，贮存及处理。 ④信息是可以度量的，信息量有多少的差别。 12、信息论的形成与发展 ①信息早期的定义是由奈奎斯特和哈特莱在20 世纪20 年代提出来的； ②1936 年阿姆斯特朗提出增大宽带可以使抗干扰能力加强 ③香农在1941-1944 对通信和密码进行深入研究，提出了信息熵的概念； ④1948 年，《通信的数学理论》发表，香农成为信息论的奠基人； ⑤50 年代信息论在学术界引起了巨大的反响； ⑥60 年代，信道编码技术有较大进展，使它成为信息论的又一重要分支； ⑦此后，信息论发展成为涉及范围广泛的广义信息论，即信息科学。 13、信息科学是研究信息产生、获取、传输、存贮以及信息识别和利用等等有关问题的一门科学。 14、①狭义信息论：又称香农信息论，主要研究信息的度量，信源和信道的特性以及有关编码的问题； ②一般信息论：研究通信理论问题； ③广义信息论：又称为信息科学，是以香农信息论和维纳控制理论作为理论基础，运用信息概念和信息方法来 研究自然界和人类社会有关的信息问题的理论。 15、香农信息论最大的特点是将概率统计的观点和方法引入通信理论的研究中，揭示了通信系统中传输的对象是信 息，并对信息给出了科学的、定量的描述，指出通信系统设计的中心问题是在随机噪声的干扰下如何有效而可 靠的传输信息。 16、通信系统的基本模型 17、通信系统的基本任务要求 ①可靠：使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端。 ②有效：用尽可能短的时间和尽可能少的设备来传输最大的消息。 18、通信系统的一些基本概念 ①信源：产生消息的源。可以用随机变量或随机过程来描述信息。 ②信宿：是消息的归宿，也就是消息传输的对象，即接收消息的人或者机器。 ③编码器：编码器是将信源发出的消息变换成适合于在信道上传输的信号的设备。执行提高信息传输的有效性 和可靠性两项功能。 信源编码器：目的在于提高信息传输的有效性。 信道编码器：用以提高信息传输的抗干扰能力。 ④信道：信道是将载荷着消息的信号从通信系统的发送端传送到接收端的媒质或通道。信道除了具有传输信号 的功能，还具有存储信号的作用。 ⑤噪声源：是消息在传输过程中受到的干扰的来源。 通信系统设计中的一个基本问题就是提高抗干扰能力。 加性噪声：由外界引入的随机噪声。 乘性噪声：信号在传播过程中由于物理条件的变化引起信号参量的随机变化而形成的噪声。 ⑥译码器：指编码的逆变换器。信道译码器是信道编码的逆变换器；信源译