[理学]信息论与编码理论基础第一章.pptVIP

信息论 信息论又称为“通信的数学理论”，是研究信息的传输、存储和处理的科学。创始人？前景？专业？机构？ Shannon 1916-2001 Shannon 1916-2001 Shannon 1916-2001 山农在其著名的《通信的数学理论》论文中不仅系统地总结和高度概括了人类对于通信的认识，而且指出了实现有效而可靠通信的必由之路是数字化和编码。通信的数学理论成为几十年来数字化革命的理论基础，在人类步入信息化社会的进程中起了巨大的推动作用。 信息论诞生几十年来，人们不仅在理论上发展了山农的信息论而且在实际中逐步实现了某些信道下的山农理论所指出的理想传信。信息论对实际通信系统的设计已经产生了深刻的影响。 其他相关课程的知识 工程数学上面的概率论和数理统计：概率、条件概率、概率密度、全概率公式、方差、数学期望、大数定律、高斯分布等。 高等数学中的微分、积分、导数/偏导数、极值等等。 数字电路方面：二进制数和运算规律、移位寄存器方面的知识。 第一章：引论（简介） 一、通信系统模型 二、Shannon信息论的中心问题 三、Shannon信息的概念 四、概率复习内容 一、通信系统模型 什么是通信系统？ 用以完成信息传输过程的技术系统的总称。现代通信系统主要借助电磁波在自由空间的传播或在导引媒体中的传输机理来实现，前者称为无线通信系统，后者称为有线通信系统。 当电磁波的波长达到光波范围时，这样的电信系统特称为光通信系统，其他电磁波范围的通信系统则称为电磁通信系统，简称为电信系统。 通信系统模型 各部件功能 信源 产生消息的源，消息可以是文字，语言，图像，可以离散，可以连续，但都是随机发生的。 研究的主要问题是消息的统计特性和产生信息的速率 各部件功能 编码器是将信源发出的消息变换成适于信道传送的信号的设备。一般包含几个部分，如信源编码器、纠错编码器和调制器等。 信源编码器：主要任务是面对信源的统计特性，对信源的输出进行统计变换，将最需要保留的信息提取出来进行编码，在规定的接收质量下将需要保留的信息压缩到最小，因而信源编码是一种去冗余的编码，是数据压缩的问题。 信道编码器：纠错编码器和调制器的组合称作信道编码器。纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力。调制器将信编码器的输出变成适合于信道传输要求的信号形式。它们主要是针对信道情况进行设计的，目的在于充分利用信道的传信能力可靠地传送信息。 各部件功能 信道 信号从发端传到收端的介质，是包括收发设备在内的物理设施。 信道的中心问题是研究信道的统计特性和传信能力，即信道容量。 干扰源 系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，集中到一个方框作用于信道，这种干扰源的统计特性是划分信道的重要因素，并且是决定信道传输能力的决定因素。 实际干扰可分成两大类： 加性干扰 由外界引入的随机干扰，如天电干扰、设备内部的噪声，它们与信道输入信号统计无关，信道的输出就是输入和干扰的和。 乘性干扰 是信号在传播过程中由于物理条件的变化(如温度、电离层位置随机变化等)引起信号参量(如频率色散、幅度衰减、相位偏移等)随机变化，此时信道的输出信号是输入与某些随机变量相乘的结果。 为了实现可靠通信，就要与各种干扰作斗争，这是通信系统设计中的一个基本问题。信息论要对干扰进行数学上的定量描述，以确定它们对传信能力影响的大小，从而给出有干扰下信道的传信能力。 各部件功能 译码器 编码器的逆变换,要从受干扰的信号中最大限度地提取出信源输出消息的信息，尽可能精确地恢复信源的输出。 中心问题是研究各种可实现的解调和译码方法 信宿 信息的接收者,要对传过来的消息提出可接受的条件，发端将要以此来确定对信源处理时所要保留的最小信息量。 注：系统的模型不是不变的 系统的模型可根据实际情况而定，例如可以对编、译码器作更细致的划分，如此，可以使信源编码的研究主要和信源及信宿发生关系，此时信道编、译码器和信道的组合可等效为一个离散无扰信道。而信道编码的研究可和信源、信宿无关，而只与信道有关，此时信源和信源编码器组合成一个对于信道编码器来说的等效离散源，它的输出可近似地看成是无记忆、等概的数字序列。这种划分可使信源编码集中于解决传输有效性问题，而信道编码则集中于解决抗信道干扰和失真问题，即解决传输可靠性问题，从而简化了研究。 二、Shannon信息论的中心问题 Shannon信息论的中心问题 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。 有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。 （信源编码） 可靠性高，就是要使信源发出的消息经