通信原理(樊昌信第六版)第1章试卷.pptVIP

第1章 绪论 若有M个等概率波形（P = 1/M），且每一个波形的出现是独立的，则传送M进制波形之一的信息量为 若M是2的整幂次，即 M = 2k，则有 当M = 4时，即4进制波形，I = 2比特， 当M = 8时，即8进制波形，I = 3比特。 第1章 绪论 对于非等概率情况 设：一个离散信源是由M个符号组成的集合，其中每个符号xi (i = 1, 2, 3, …, M)按一定的概率P(xi)独立出现，即 且有 则x1 , x2, x3,…, xM 所包含的信息量分别为 于是，每个符号所含平均信息量为 由于H(x)同热力学中的熵形式相似，故称它为信息源的熵 第1章 绪论 【例1】 一离散信源由“0”，“1”，“2”，“3”四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息2010201302130 01203210100321010023102002010312032100120210的信息量。 【解】此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量 每个符号的算术平均信息量为 第1章 绪论 若用熵的概念来计算： 则该消息的信息量  以上两种结果略有差别的原因在于，它们平均处理方法不同。