湖南大学信息论和纠错编码.ppt

解：甲地天气预报构成的信源空间为: 则其提供的平均信息量即信源的信息熵: 乙地天气预报的信源空间为: 结论：甲地天气预报提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。 甲地极端情况 极端情况1：晴天概率＝1 结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。 极端情况2：各种天气等概率分布 乙地极端情况 极端情况1：晴天概率＝1 结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。 极端情况2：各种天气等概率分布 例 ：一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量和平均信息量。  解： 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 每个符号的算术平均信息量为 若用熵的概念来计算， 两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 随着消息序列长度的增加， 两种计算误差将趋于零。  条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机