信息论与编码 第1章 序论推荐.pptVIP

一般信息论 香农 信息论 噪声理论 调制 理论 信号滤波预测理论 统计检测估计理论 * 虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。 * 维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。 发送 接收 * 香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。 发送 接收 * 反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延伸，也都属于广义信息论的范畴。 概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。 广义信息论 3 * 总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。 * 研究对象：信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。 * 最简单的通信系统模型 通信系统的三个基本单元： 信源（Source）、 信道（Channel）、 信宿（Destination）。 * 研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 * 信源是提供消息的人、设备或事物。 ??打电话时人发出的声音 ?? 因特网上可供浏览的网页 广播、电视发送的节目信号 ??天体天电信号 人们最感兴趣的是信源给出的消息。 消息是由符号、文字、数字、语声、图像等组成的序列。 * 信道： ??传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。 ??信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。 ??也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。 * 信宿： 消息传递的对象，即接收消息的人、设备或事物。根据实际需要，信宿接收的消息，其形式可以与信源发出相同，也可以不同。当两者形式不同时，存在一个映射关系。 * 消息通常具有如下特征： （1）消息可以产生、传递和获取 ??消息是客观的、可感知的，但它看不见、摸不着 ??传递要借助于载体（或媒质），用载体传送，从 载体中取出。载体是消息的物理体现，如： ??在纸上写字。 ??用磁带、光碟、存储器等记录语音、图像、数据。 ??最值得研究的载体是电的、磁的、光的载体，这 就是各类信号。 ??信号是一种载体，是消息的物理体现，它使消息 能够看得见，变得具体化。 ??人们通过时域、频域及各种变换域来研究信号的 波形、频谱等结构，构成比较完善的信号理论。 * （2）消息是有内容的 ??消息的内容是客观存在的 ??对消息的接受者来说，消息有新、旧或已知、未知之分，有用、无用及有大用、小用之别 ??客观存在的消息，对不同的接收者来说，其性质、作用不同 促使人们去研究消息的内涵以及人的主观判断等主观因素，从而产生了信息理论及其各种分支。 * 消息从信源通过信道到信宿，如何有效、可靠地传输，是通信系统要解决的根本问题。 ??先说有效性（Validity） ??消息若在信源中先去粗取精，则必能提高通信的有效性 ??对数字通信来说，即信源编码（Source Coding）要解决的主要问题 ??再说可靠性（Reliability） ??信宿对接收到的“消息”若能够进行判断、评估，去伪存真的处理，则必能提高通信的可靠性 ??对数字通信来说，信道编码（Channel Coding）的主要任务就是解决这个问题 * 消息是指包含有信息的语言、文字和图像等。 ??消息中的不确定成分是信息。 ??在通信中，消息是指担负着传送信息任务的单个符号或符号序列。 ??这里的符号包括文本、数据、语言、图形和图像等。 ??消息是具体的，它载荷信息，但它不是物理性的。 ??信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。 ??信号是信息的载荷子或载体，它是物理性