通信原理电子教案培训课件.pptVIP

注： ●分支方式及交换方式均属网通信的范畴。 与点与点直通方式相比，有其特殊的一面。例：通信网中有一套具体的线路交换与消息交换的规定、协议等；通信网中既有信息控制问题，也有网同步问题等。 ●网通信的基础仍是点与点之间的通信。 ●本书中只研究：点对点通信，而不涉及通信网的其它问题（移动通信、计算机通信、程控交换等）。 * 1.4 信息及其度量 （1）信息 定义：消息中包含的有意义的内容。 “信息”一词在概念上与消息的意义相似，但它的含义却更具普遍性、抽象性。消息可以有各种各样的形式，但消息的内容可统一用信息来表述。 （2）信息量 传输信息的多少可直观地使用“信息量”进行衡量。如何度量离散消息中所含的信息量? ●在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对接收者而言，某些消息比另外一些消息的传递具有更多的信息。 例:非常可能发生的事情：“陕西发现一猫”。 极不可能发生的事情：“陕西发现野生华南虎”。 事件愈不可能发生，愈会使人感到意外和惊奇，信息量就愈大。 * （2）信息量 ●事件愈不可能发生，愈会使人感到意外和惊奇，信息量就愈大。 ●度量消息中所含的信息量的方法，必须能够用来估计任何消息的信息量，且与消息种类无关。 ●消息中所含信息的多少也应和消息的重要程度无关。 另：由概率论可知，事件的不确定程度，可用事件出现的概率来描述：事件出现（发生）的可能性愈小，则概率愈小；反之，概率愈大。 ●基于这种认识，得：消息中的信息量与消息发生的概率紧密相关。消息出现的概率愈小，则消息中包含的信息量就愈大。且概率为零时（不可能事件）信息量为无穷大；概率为1时（必然事件）信息量为0。 * 综上：信息量与消息出现的概率有关，具体可以描述为如下规律： （1）消息中所含信息量是消息出现概率的函数： （2）消息出现的概率愈小，它所含信息量愈大；反之信息量愈小，且： （3）若干个互相独立事件构成的消息（ ）所含信息量等于各独立事件 信息量的和。 * 信息量 I 和消息出现概率P(x)的关系为： 信息量的单位取决于对数底数a的取值： a = 2 单位为比特（bit，简写为b）； a = e 单位为奈特（nat，简写为n）； a = 10 单位为哈特莱。 * 例1.1 设二进制离散信源，数字0或1以相等的概率出现，试计算每个符号的信息量。 解: 二进制等概率时 有 即二进制等概时，每个符号的信息量相等，为1bit。 * 式中，P=1/M 为每一个符号出现的概率。一般情况下M=2K，则上式可改写成 例：对于M进制离散信源，若M个符号等概率出现，且每一个符号的出现是独立的，即信源是无记忆的，则每个符号的信息量相等，为 结论：独立等概情况下M进制的每一符号包含的信息量，是二进制每一符号包含信息量的K倍（K是每一个M进制符号用二进制符号表示时所需的符号数目）。 * （3）平均信息量 当各个符号出现的概率不相等时，计算消息的信息量，常用到平均信息量的概念。 平均信息量定义：每个符号所含信息的平均值。用符号 表示。 多进制时，设各符号出现的概率为： 则平均信息量（信息源的熵）为： * 显然，当信源中每个符号独立等概出现时，可以证明，此时信息源的熵为最大值。 信息源的熵： * 【例】 一离散信源由“0”，“1”，“2”，“3”四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息2010201302130 01203210100321010023102002010312032100120210的信息量。 【解】此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量 每个符号的算术平均信息量为 * 若用熵的概念来计算： 则该消息的信息量  以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算数平均的方法，结果可能存在误差。这种误差将随着消息序列中符号数的增加而减小。 当消息序列较长时，用熵的概念计算更为方便。 * 连续消息的信息量 关于连续消息的信息量可以用概率密度函数来描述。可以证明，连续消息的平均信息量为 式中，f (x) － 连续消息出现的概率密度。 * 连续消息的信息量 关于连续消息的信息量可以用概率密度函数来描述。可以证