第二章信息的统计度量.pptVIP

条件熵2.3.3条件概率并且当已知特定事件yj出现时，下一个出现的是xi的不确定性为：对集合X中所有元素统计平均，其熵为：第29页，共45页，星期日，2025年，2月5日上述熵值再对集合Y中的元素做统计平均，得条件熵：同理可得：第30页，共45页，星期日，2025年，2月5日定义2.3.3联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。在已知随机变量Y的条件下，随机变量X的条件熵定义为：条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵第31页，共45页，星期日，2025年，2月5日定义2.3.4联合离散符号集合XY上的每个元素对xiyj的联合自信息量的数学期望。是二元随机变量不确定性的度量。2.3.4联合熵（共熵）定义式为第32页，共45页，星期日，2025年，2月5日第1页，共45页，星期日，2025年，2月5日第2页，共45页，星期日，2025年，2月5日Log(xy)=logx+logyLog(x/y)=logx-logy中学数学知识2.1自信息和条件自信息量2.1.1自信息量定义2.1.1任意随机事件的字信息量的定义为该事件发生概率的对数的负值。第3页，共45页，星期日，2025年，2月5日自信息量I(xi)的含义当事件xi发生以前，表示事件xi发生的不确定性；当事件xi发生以后，表示事件xi所提供的信息量；第4页，共45页，星期日，2025年，2月5日对于单个消息随机变量U，出现某个消息，对应概率为，这时可获得的信息量为，则有：注：I－－自信息解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。第5页，共45页，星期日，2025年，2月5日自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”；底为10，单位为“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；第6页，共45页，星期日，2025年，2月5日自信息量I(ai)的性质I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=∞；I(ai)是P(ai)的单调递减函数第7页，共45页，星期日，2025年，2月5日例：从26个英文字母中，随即选取一个字母，则该事件的自信息量为I=-log2(1/26)=4.7比特例：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为:I=-log2(1/2m)=m比特/符号计算信息量主要要注意有关事件发生概率的计算第8页，共45页，星期日，2025年，2月5日联合自信息量定义2.1.2二维联合集XY上的元素（xy)的联合自信息量定义为第9页，共45页，星期日，2025年，2月5日2.1.2条件自信息量定义2.1.3联合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为在特定条件下(已定)随机事件发生所带来的信息量条件自信息量满足非负和单调递减性。第10页，共45页，星期日，2025年，2月5日例:甲在一个8*8的方格盘上随意放入一个棋子，在乙看来是不确定的。(1)在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？第11页，共45页，星期日，2025年，2月5日联合自信息量和条件自信息量关系当X和Y独立时，第12页，共45页，星期日，2025年，2月5日2.2互信息量和条件互信息量2.2.1互信息量信源信道信宿XY信源集合X的概率空间XP=x1x2…..p(x1)p(x2)…..第13页，共45页，星期日，2025年，2月5日YP=y1y2…..p(y1)p(y2)…..信宿收到的符号集合Y的概率空间定义2.2.1对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量。用表示，即第14页，共45页，星期日，2025年，2月5日互信息量等于自信息量减去条件自信息量。第三种表达方