湖南大学信息论及纠错编码.pptVIP

熵之间的相互关系 H(XY) = H(X) + H(Y|X) H(XY) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(XY) = H(X) + H(Y) 甲地极端情况 极端情况1：晴天概率＝1 结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。 极端情况2：各种天气等概率分布 乙地极端情况 极端情况1：晴天概率＝1 结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。 极端情况2：各种天气等概率分布 例 ：一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量和平均信息量。  解： 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 每个符号的算术平均信息量为 若用熵的概念来计算， 两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 随着消息序列长度的增加， 两种计算误差将趋于零。  条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机