1章信息论基础.pptVIP

* 第1章 信息论基础 第1章 信息论基础 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。 1.1 信息的概念 物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 对于信息论的研究，一般划分为三个不同的范畴： 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 1.2 信息传输系统 通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。 各种通信系统，一般可概括为图1.1所示的统计模型： 干扰源 信道 信道译码器 信道编码器 信源译码器 信源译码器 信宿 信源 等效信源 等效信宿 等效干扰信道 图1-1 信息传输系统模型 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 信宿是消息的接收者。 2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。 1.信源 信源是产生消息的源。 编码器 信源编码器，提高传输效率 信道编码器，提高传输可靠性 1.3 离散信源及其数学模型 信源是产生消息的源，根据X的不同情况，信源可分为以下类型： 根据信源的统计特性，离散信源又分为两种： 离散信源 消息集X为离散集合。 波形信源 时间连续的信源。 连续信源 时间离散而空间连续的信源。 无记忆信源 X的各时刻取值相互独立。 有记忆信源 X的各时刻取值互相有关联。 1.3.1 离散无记忆信源 离散无记忆信源(Discrete Memoryless Source，简记为DMS)输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即： q(xi )：信源输出符号消息xi的先验概率; 满足：0 ? q(xi) ? 1，1 ? i ? I 1.3.2 离散无记忆的扩展信源 实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间： x为各种长为N的符号序列，x = x1 x2 … xN ，xi ? { a1 , a2 , … , ak }，1 ? i ? N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x ? X。 序列的概率q (x) = q (x1x2 … xN) = 1.3.3 离散平稳有记忆信源 中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依赖性我们称作有记忆。 用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条件概率p (xi?xi-1 xi-2… )确定。 如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。 对于离散平稳有记忆信源，有： p (x1 = a1) = p (x2 = a1) = … p (x2 = a2?x1 = a1) = p (x3 = a2?x2 = a1) = … p (x3?x2 x1) = p (x4?x3 x2) = … ┇ p (xi+L?xi+L-1 xi+L-2 … xi) = p (xj+L?xj+L-1 xj+L-2 … xj) = … ┇ 【例1.4】 某离散平稳信源 ，设信源发出的符号只与前一个符号有关，其关联程度用表1-1