信息论与编码课件第一章.pptVIP

广义的信息概念*物质、能量和信息是构成客观世界三大要素，信息是物质和能量在空间和时间中分布的不均匀程度。信息不是物质，信息是事物的表征，是对物质存在状态和运动形式的一般描述。信息存在于任何事物之中，有物质的地方就有信息，信息充满物质世界。信息本身看不见、摸不着，它必须依附于一定的物质形式（如文字、声波、电磁波等）。这种运载信息的物质称为信息的载体，一切物质都有可能成为信息的载体。3214概率信息的概念*概率信息是由美国数学家香农提出来的，故称香农信息或狭义信息。是从不确定性(Uncertainty)和概率测度出发定义信息的。香农从信源具有随机不确定度出发，为信源推出一个与统计力学的熵相似的函数，称为信息熵。信息熵是信源的信息选择不确定度的测量，但它不等同于不确定度，而是为了消除一定的不确定度，必须获得的、与此不确定度相等的信息量。信息的特征*信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。广泛性客观世界充满着信息人类离不开信息知识、书本是有用信息的积累抽象性信息是组成客观世界并促进社会发展的最基本的三大要素之一。三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。信息的重要性质*信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的财富。02存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。01信息的重要性质*信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。信息、消息、信号*信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1…Ul…UL)连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω)信息、消息、信号*信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同样，同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。信息、消息、信号信号消息信息信息蕴含在消息中消息蕴含在信号中信号中装着消息消息中装着信息什么是信息论*它是四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题：信源的描述，信息的定量度量、分析与计算信道的描述，信道传输的定量度量、分析与计算。信源、信道与通信系统之间的统计匹配，以及通信系统的优化—Shannon的三个编码定理。信息论诞生五十多年来，至今，仍然是指导通信技术发展的理论基础，是创新通信体制的源泉。二.信息论产生背景*信息的如何度量？需要解决的问题：通信系统中信息传输的效率。信息传输的准确性问题。噪声干扰。频率特性。本质为：信息传输的可靠性与有效性问题。信源信道信宿通信系统模型通信系统模型信源信道信宿编码器译码器消息信号噪声源干扰恢复的消息信号+干扰通信系统模型*信源：产生消息的源。消息可以是文字、语言、图像等。编码器：将信源发出的消息变换成适于信道传送的信号的设备。包含信源编码器、纠错编码器、调制器。信道：把载荷消息的信号从发射端传到接收端的媒质或通道。狭义的实际信道有电缆、波导、光纤、无线电波传播空间。通信系统模型*干扰源：系统其他各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。01译码器：编码的逆变换。它的作用是从受干扰的信号中最大限度地提取出