信源与信源熵.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 2.2.1 自信息量 设离散信源X，其概率空间为 自信息量 I (xi) 含义: 当事件xi发生以后,表示事件xi所含有的信息量，或接收者所获得的信息量。 自信息的单位的确定 若取2为对数底，信息量的单位为比特(bit)，信息论中常用此单位； 若取自然对数e为底,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det) 1 nat＝log2e ≈ l.433 bit， l det＝log210≈3.322 bit 不确定度 定义： 随机事件的不确定度在数量上等于它的自信息量。 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的固有特性，它在事件发生之前就存在；而自信息量是在该事件发生后给予观察者的信息量。 不确定度 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小； 一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大； 若是确定性事件，出现概率为1，则它包含的不确定度为0。 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量 自信息量 I(xi)的特性： ⑴ I (xi)是非负值 ⑵ 当p(xi) = 1时，I(xi) = 0 ⑶ 当p(xi) = 0时，I(xi) =∞ ⑷ I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) ⑸ 可加性 自信息量的计算 联合自信息量 定义： 两个消息xi，yj同时出现的联合自信息量 条件自信息量 定义 在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi | yj) ，则它的条件自信息量定义为条件概率对数的负值： 例 2-3 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。 分别计算它们的自信息量。 2.2.2 离散信源熵 例2-4:一个布袋内放100个球，其中80个球是红色的，20个球是白色的。求：①摸到红球获得的信息量；②摸到白球获得的信息量；③平均摸取一次所获得的信息量。 解: 依据题意,这一随机事件的概率空间为 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit 如果每次摸出一个球后又放回袋中，再进行 下一次摸取。则如此摸取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2) 平均随机摸取一次所获得的信息量为 离散信源熵 定义 离散信源的信源熵H(X)为信源中各个符号不确定度的数学期望，即： 信源熵 信源熵： 从平均意义上来表征信源的总体信息测度的一个量。 自信息： 指某一信源发出某一消息所含有的信息量。 自信息I (xi)是一个随机变量,不能用它来作为整个信源的信息测度。 所发出的消息不同,它们所含有的信息量也就不同。 信源熵 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 信息熵H(X)反映了变量X的随机性 例：甲地天气预报 甲、乙地天气预报为两极端情况： 甲、乙地天气预报为两极端情况： 例2－7 该信源X输出符号只有两个,设为0和1输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为 其他熵 条件熵 在给定yj条件下，X 集合的条件熵H(X|yj)为 其他熵 相应地，在给定X(即各个xi)条件下， Y集合的条件熵H(Y|X)定义为 其他熵 联合熵 – 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。 H(X,Y)与H(X)、H(X|Y)之间的关系 H(X,Y)＝H(X)＋H(Y|X) H(X,Y)＝H(Y)＋H(X|Y) 例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符