信息论基础概况.pptVIP

第二章 信息论基础 香农定理 从理论上阐述通信系统中有效性和可靠统一的依据，以此计算出通信系统的极限传输性能。 信源和信道编码 信源编码: 将信源输出的信号有效地变换成二进制序列，用尽可能少的二进制代码表示信源输出的信息。提高数字通信的有效性。 信道编码: 研究提高数字通信可靠性所采取的编码，提高可靠性 信息、消息和信号 消息 Message： 声音、图象、文字等所代表的内容。 信息 Information： 消息内容中所含的有意义份量。 信号 Signal： 消息、信息的载体和传递形式。消息的物理实现。 信息与消息的关系 信息是可以度量的。消息中所含信息的量的多少称为信息量。 消息中所含信息量的大小与消息所出现的可能性（概率）有关。概率愈小，信息量愈大；反之信息量愈小。 几个相互独立的事件所构成消息的信息量是各个立事件的信息量之和。 2.1.1 信息量的数学定义 几种离散信源的信息量 二进制码元只有1, 0. 每个码元P＝1/2，且独立，因此 I=Log2(1/P)=Log22=1 (bit) 16进制每个码元出现的概率是P=1/16,且独立，则 I=Log216=4 (bit) 拉丁字母26个，若它们独立等概，则每字母的 I = Log226 = 4.7 (bit) 一级汉字3755个, 若它们独立等概，则每汉字 I = Log23375 = 11.8(bit) 2.1.2 平均信息量—熵（Entropy） 例2：英文字母和汉字的熵 英文字母的熵 ： H ≈ 4.03 (bit /符号) 中文汉字的熵： H = 9.65 (bit/符号) 法文：?3.98;?????西班牙文：?4.01;????? 英文：?4.03;???? 俄 文： ?4.35 例：设有一符号集 熵随概率变化情况 2.2 信 道 基本要求： 了解信道的定义与分类，掌握信道的数学模型，理解信道的加性噪声和信道容量的概念。 本节讲授的内容 信道概述 —— 信道定义和分类 信道模型 —— 调制（模拟）和编码（数字）信道模型 恒、随参信道对信号传输的影响 —— 无失真传输条件、幅频与相频失真等 信道容量 —— 有扰连续信道的容量 信道的定义 信道是指以传输媒质为基础的信号通道，它是通信系统必不可少的组成部分，信道的特性将直接影响到系统的总特性。 信道的定义（续1） 狭义信道：发射端和接收端之间传输媒质的总称，是任何一个通信系统不可或缺的组成部分。按传输媒质的不同，狭义信道又可分为有线信道与无线信道两类。 广义信道：除包括传输媒质外，还包括有关的变换装置(如发送设备、接收设备、馈线与天线、调制器、解调器等)。按照它包含的功能，广义信道又可以划分为调制信道和编码信道。 信道的定义（续2） 调制信道用于研究调制与解调问题是方便和恰当的。 编码信道用于研究编码与译码问题时使问题的分析更容易。 信道的数学模型 信道的数学模型用来表征实际物理信道的特性； 它对通信系统的分析和设计是十分方便的。 调制信道的数学模型 调制信道的共性： 有一对(或多对)输入端和一对(或多对)输出端； 绝大多数的信道都是线性的，即满足叠加原理； 信号通过信道具有一定的迟延时间，而且它还会受到(固定的或时变的)损耗； 即使没有信号输入，在信道的输出端仍有一定的功率输出(噪声)。 调制信道的数学模型（续1） 调制信道的数学模型（续2） 对于二对端的信道模型，其输出与输入的关系应该有： eo(t) = f [ei(t)] + n(t) 式中: ei(t)－输入的已调信号； eo(t)－输出信号； n(t)－加性噪声，它与ei(t)相互独立； f [ei(t) ]－与输入有关的一个函数，表示信道对于信号的影响。 调制信道的数学模型（续3） 通常， f [ei(t)]可以表示为：h(t)*ei(t)， 此时，eo(t) = h(t)*ei(t) + n(t) 其中，h(t)表示时变线性网络的特性 ，称为乘性干扰。 h(t)是一个复杂的函数，反映信道的衰减、线性失真、非线性失真、延迟等。 h(t)=常数，称为恒(定)参(量)信道，如同轴电缆 h(t)?常数，称为随(机)参(量)信道，如移动蜂窝网通信信道 编码信道的数学模型 一般把编码信道则看成是一种数字信道； 对信号的影响表现为一种数字序列的变换，即把一种数字序列变成另一种数字序列； 编码信道模型可以用数字的转移概率来描述； 可分为有记忆编码信道和无记忆编码信道。 编码信道的数学模型（续1） 模