第1章信息论基础.pdfVIP

第1章 信息论基础 第1章 信息论基础 内容提要 信息论是应用近代概率统计方法研究信息 传输、交换、存储和处理的一门学科，也 是源于通信实践发展起来的一门新兴应用 科学。本章首先引出信息的概念，简述信 息传输系统模型的各个组成部分，进而讨 论离散信源和离散信道的数学模型，简单 介绍几种常见的离散信源和离散信道。 1.1 信息的概念 物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。 通信系统中形式上传输的是消 息 ，实质上传输的是信息 ，消息 中包含信息 ，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的 获取、传输、存储和处理的一般规律的科学。 对于信息论的研究 ，一般划分为三个不同的范畴 ： 狭义信息论，即通信的数学理论，主要研究狭义