《信息论与编码原理》第1章绪论.ppt

* * 《信息论与编码原理》 主讲人： 第1章 绪论 本章内容 1.1 信息的概念 1.1.1 什么是“信息”？ 1.1.2 如何度量“信息”？ 1.2 信息传输系统 1.2.1 信息传输系统模型 1.2.2 信息传输系统的性能指标 1.3 信息论的研究内容 1.3.1 基本信息论的研究内容 1.3.2 一般信息论的研究内容 1.3.3 广义信息论的研究内容 1.4 信息论和编码理论的形成和发展 1.1 信息的概念 我国《辞海》对信息的解释：信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义，通常需要通过处理和分析来提取。 可见信息（information）和通信系统中的消息(message)、信号(signal)之间存在密切的关系。 一、什么是信息？ 信息、消息、信号 信息：消息中有意义的内容。 消息：指语言、文字和图像等。同一则信息可以用不同的消息形式来载荷。消息中包含信息，是信息的载荷者。消息是具体的，但它不是物理的。 信号：信号是消息的物理体现。为了在信道上传输消息，就必须把消息调制到具有某种物理特征的信号上去。比如电信号、光信号等。 二、通信系统的简单模型 系统的组成： 信源：产生一系列有待于传输的消息，并将消息转换成原始电信号。由于信源发出的消息符号具有随机性，可以用随机变量或随机矢量来描述信源的统计特性。 信道：传递消息的通道。由于噪声往往具有随机性，对传输信号的影响可用信道转移概率来描述。 信宿：接收消息的人或者机器。 通信目的：为了从发送端向接收端传递信息。 在各种通信系统中，消息传递过程的一个最基本、最普通却又不十分引人注意的特点是：在收到消息以前，收信者不知道消息的具体内容，即收信者对于发送消息的具体内容存在着“不确定性”。通过信道的传输，信宿收到消息后，原先的“不确定性”消除了或部分消除。 对收信者来说，消息的传递过程是一个从不知到知的过程，或是从知之较少到知之较多的过程，或是从不确定到全部确定或部分确定的过程。 通信过程是一种消除或部分消除不确定性的过程。不确定性消除得越多，获得的信息就越多。 香农信息的定义： 信息是事物运动状态或存在方式的不确定的描述。 三、如何度量信息？ 1.2 信息传输系统 信息传输系统模型 发送设备的基本功能是将信源产生的原始电信号变换成适合在信道中传输的信号。 信源编码: 在一定的准则下，对信源的输出进行变换，以提高信息传输的有效性； 信道编码: 对信源编码器的输出进行变换，以提高信息传输的可靠性； 调制器: 将信道编码器的输出变换成适合于信道传输要求（带宽、频段等）的信号形式。 编码：信源编码、信道编码 信源编码：又称为有效性编码，在不失真或允许一定失真条件下，用尽可能少的码元来表示信源符号，以提高信息传输的有效性。 信道编码：又称为可靠性编码，在信息码元后面添加监督码元，以便在接收端发现或纠正错误，进而提高信息传输的可靠性。 信源编码：分为无失真编码和限失真编码。 作用：把信源发出的消息变换成二进制码元组成的代码组。 假设信源输出四种符号，出现概率分别为1/2，1/4，1/8，1/8，如何编码可以使得有效性得以提高？ 信道编码：添加监督码元，使之具有检错或纠错能力，提高传输消息的可靠性。 例如： 晴：00 雨：01 阴：10 雪：11 问题：如果码元出错无法检测，如何检测一个错码？ 在实际通信系统设计中，信源编码和信道编码是分别独立考虑的，也就是说，进行信源编码时，只考虑信源的统计特性，假定信道无噪声干扰；而进行信道编码时，只考虑信道的传输特性，假定信源输出独立等概。这样可以大大降低通信系统设计的复杂度，在系统设计中具有重要的意义。 信息传输系统的性能指标 1.3 信息论的研究内容 基本信息论的研究内容 香农信息论与编码理论的关系密不可分。 香农信息论侧重于分析通信系统的理论性能极限，但未给出达到该极限的具体实现方法； 编码理论则是在香农信息论的指导下不断发展的具体编码方法，并不断逼近香农限，同时也是对香农信息论的验证。 信息论和编码理论经常结合在一起进行阐述。 一般信息论的研究内容 一般信息论也称为通信理论。它除了包括香农信息论，还包括噪声理论、统计检测与估计理论、调制理论、信号处理与信号设计等理论。后一部分内容主要是美国科学家维纳（N.Wiener）的微弱信号检测理论。 虽然维纳和香农等人都是运用概率论和统计数学的方法来研究准确或近似地再现消息的问题，都是为了使得消息的传送和接收最优化，但是他们却有一个重要的区别。 维纳研究的重点在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰后，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上创