通信原理第一章01.pptVIP

通信原理 (第6版)精编本 樊昌信等 第1章 绪 论 1.1 通信的基本概念 1.2 通信系统的组成 一、通信系统一般模型 二、模拟通信系统模型、数字通信系统模型 三、数字通信系统的特点 例： 发送原始数据 发端加密密码 送上信道数据 收端解密密码 接收原始数据 1.3 通信系统分类及通信方式 二、通信方式 1.4 信息及其度量 二、等概出现的离散消息度量 解：消息总长为57个符号，其中0出现23次，1出现14次， 2出现13次，3出现7次，可求得信息量为： 连续消息的信息量可用概率密度来描述： 不同消息中所包含的信息量可能是不同的。 不同接收者从同一消息中所获得的信息量有可能不同。 一、信息的度量 信号是消息的载体，信息是消息的内涵。对于接收 者来说，只有消息中不确定的内容才构成信息，才有意 义，而早已经确切知道的内容就没什么价值了。 信息的多少可用“信息量”来衡量。 信息量 三条消息： 1. 明天第一节课8:00开始。 2. 明天不上课。 3. 明天、后天、大后天都不上课。 第1条几乎没带来任何信息，是一个必然事件，人们 不足为奇；第二件事有可能发生，但比较少见，带来了一 定的信息；第三件事基本上不大可能发生，因此带来了更 多的信息。 消息中的事件越是不可预测、越是不可能发生，消息中所包含的信息量就越大。 信息量的大小与什么有关呢？ 可见，消息所包含的信息量与消息出现的可能性是 有关联的。 因此，消息中所包含的信息量与消息出现的概率密切 相关。消息出现的可能性越小、概率越小，所包含的信息 量就越大；出现的可能性越大、概率越大，所包含的信息 量就越小。 若用 表示消息发生的概率， 表示消息中所含的信息量，则 与 应满足如下关系： 1.消息中所含的信息量是该消息出现概率的函数。 2. 越小， 越大；反之， 越小。且当 时， ； 时， 。 3.若干个相互独立事件构成的消息，所含信息量等于各 独立事件信息量之和，即信息具有相加性。 即 要满足上述三项要求，则 与 之间的关系应为： 根据所讨论的度量方法，下面来看一下离散消息信息 量的计算。 的单位取决于对数底数 时， 的单位为比特( )； 时， 的单位为奈特( )； 时， 的单位为哈特莱( )。 一个M进制的离散信息源，若要在M个离散消息中选择 其一进行传送(即传送一个M进制波形）。已知每个消息的 出现概率是相同的，即 ，则每一消息所含的信息 量为（取对数底为2）： 注意：传送M个消息之一与传送M进制波形之一这两种说法 是完全等价的。 在数字通信中，通常取M为2的整幂次，即 ，则上式成为： 意味着每一符号等概出现时所含信息量就是 。 当 (二进制)时， ，即一个二进制符号等概 出现时所含信息量是 。因此，在工程应用中，一般把一个二进制码元称为 码元。 三、非等概离散消息 M进制的离散信息源，包含M个消息（符号），每一个 符号 是按一定的概率 独立出现的，即 则 所包含的信息量分别为： 且 则每一个符号所含的平均信息量(即每一符号所含信 息量的统计平均值）为： 信息源的熵 等概时，即 ，此时 熵的最大值 解： 由于全概率为1，因此出现“1”的概率为 。由信息 量定义式可知，出现“1”的信息量为： 例1-4-1：已知二进制离散信源只有“0”、“1”两种符号，若“0”出现概率为 ，求出现“1”所含的信息量。 例1-4-2：已知英文字母 出现的概率分别为0.105、 0.001，求英文字母 的信息量。 解： 的信息量为： 的信息量为： 可见：概率越小，信息量越大。 例1-4-3：离散信源由0、1、2、3四种符号组成，概率为： 求：消息201 020 130 213 001 203 210 100 321 010 023 102 002 010 312 032 100 120 210的信息量。 由于消息中有57个符号，因此该消息所含信息量为： 若用熵的概念来求解，则有： 每一符号所含的平均信息量