湖南大学信息论与纠错编码8321911-精选（公开课件）.pptVIP

解：甲地天气预报构成的信源空间为: 则其提供的平均信息量即信源的信息熵: 乙地天气预报的信源空间为: 结论：甲地天气预报提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。 甲地极端情况 极端情况1：晴天概率＝1 结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。 极端情况2：各种天气等概率分布 乙地极端情况 极端情况1：晴天概率＝1 结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。 极端情况2：各种天气等概率分布 例 ：一离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量和平均信息量。  解： 此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 每个符号的算术平均信息量为 若用熵的概念来计算， 两种算法的结果有一定误差，但当消息很长时， 用熵的概念来计算比较方便。 随着消息序列长度的增加， 两种计算误差将趋于零。  条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为： 要用联合概率加权 条件熵 条件熵是一个确定值，是指：信宿在收到Y后，信源X仍然存在的平均不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。 称条件熵H(Y/X)为噪声熵。是指：发出X后，由于信道干扰使得Y存在平均不确定性 H(X|Y) 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 公式： 联合熵 H(XY) 熵、条件熵、联合熵之间的关系 一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 信源熵H(X) 例题 p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 由 得联合概率 例题 条件熵H(Y|X) 联合熵H(XY) H(XY)＝H(X)＋H(Y|X)=1.8bit 得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由 例题 信源输出熵H(Y) 由 得 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 条件熵H(X|Y) 例题 或 H(X|Y)= H(XY)-H(Y)=1.8-1.47=0.33bit 信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信源的符号数及其概率分布有关。 我们用概率矢量P来表示概率分布P(x)： 三、信息熵的基本性质 这样，信息熵H(X)是概率矢量P或它的分量p1，p2，…，pq的q-1元函数(因各分量满足上述条件限制，所以独立变量只有q-1元)。 一般 H(X)可写成： 熵函数 H(P)是概率矢量P的函数，称为熵函数。 我们用下述表示方法： 用H(x) 表示以离散随机变量x描述的信源的信息熵； 用H(P) 或 H(p1, p2 , … , pq )表示概率矢量为 P = (p1, p2 , … , pq )的q个符号信