成电考研831通信原理研讨.ppt

如果是非等概情况，设离散信源是一个由n个符号组成的符号集， 其中每个符号xi(i=1, 2, 3, …, n)出现的概率为P(xi)， 且有 P(xi)=1, 则x1, x2, …, xn 所包含的信息量分别为-log2 P(x1), -log2P(x2)， …，-log2 P(xn)。于是，每个符号所含信息量的统计平均值，即平均信息量为 　H(x)=-P(x1)［log2P(x1)］+-P(x2)［log2P(x2)］ +…+P(xn)［log2 P(xn)］ = 由于H同热力学中的熵形式一样，故通常又称它为信息源的熵，其单位为bit/符号。 　　例 1 - 2一离散信源由0，1，2，3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量。  解 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 每个符号的算术平均信息量为 若用熵的概念来计算， 由式（1.3 - 5）得 则该消息的信息量为 I=57×1.906=108.64(bit