湖南大学信论与纠错编码.pptVIP

甲地极端情况 极端情况1：晴天概率＝1 结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。 极端情况2：各种天气等概率分布 乙地极端情况 极端情况1：晴天概率＝1 结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。 极端情况2：各种天气等概率分布 例 ：一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量和平均信息量。  解： 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 每个符号的算术平均信息量为 若用熵的概念来计算， 两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 随着消息序列长度的增加， 两种计算误差将趋于零。  条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为： 要用联合概率加权 条件熵 条件熵是一个确定值，是指：信宿在收到Y后，信源X仍然存在的平均不确定度。这是传输失真所造成的。有时称H(X/Y)为信