信息论信息的统计度量.pptVIP

信息论信息的统计度量第一页，共三十七页，2022年，8月28日 主要内容 从概率的角度研究问题自信息量互信息量平均自信息量平均互信息量信息的大小多个信息之间关联的密切程度第二页，共三十七页，2022年，8月28日 离散信号和连续信号连续信号：时间和幅度都是连续的离散信号：时间和幅度都是离散的，是我们的研究重点第三页，共三十七页，2022年，8月28日 离散信号和连续信号之间的转换连续信号离散时间信号离散信号抽样离散化插值第四页，共三十七页，2022年，8月28日 2.1 自信息量和条件自信息量定义 任意随机事件的自信息量定义为该事件发生概率的对数的负值。假设事件xi发生的概率为p(xi)，则其自信息定义式为自信息量一般以2为底，单位为比特。概率自信息量第五页，共三十七页，2022年，8月28日 自信息量的含义自信息量衡量的是随机事件的不确定性。事件的不确定性越大，其自信息量也越大；反之亦然，两者成正比。第六页，共三十七页，2022年，8月28日 自信息量的例子假设“人每天都要吃饭”这个事件发生的概率是99.99%，则该事件的自信息量为：这表明该事件的不确定性很小。假设“美国总统的专机发生空难”这个事件发生的概率是0.01%，则该事件的自信息量为：这表明该事件的不确定性很大。第七页，共三十七页，2022年，8月28日 自信息量的例子例 设在甲袋中放入n个不同阻值的电阻， ，每个电阻被取出的概率是相等的， ，则事件“取出的电阻的阻值为i”的信息量为：第八页，共三十七页，2022年，8月28日 自信息量的例子例（续） 设在甲袋中放入 个不同阻值的电阻，其中1?的1个，2?的2个，…，n?的n个，则那么，事件“取出的电阻的阻值为i”的信息量为：第九页，共三十七页，2022年，8月28日 条件自信息量定义 事件x在事件y给定的条件下的条件自信息量定义为：含义：知道y之后仍然保留的关于x的不确定性。第十页，共三十七页，2022年，8月28日 自信息量事件本身的不确定性。条件自信息量知道了另一件事情之后，仍然保留的不确定性。衡量的都是不确定性第十一页，共三十七页，2022年，8月28日 条件自信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)= 0.01%p(x|y)=1%事件x的自信息量为： 事件x在事件y发生的情况下的条件自信息量为：第十二页，共三十七页，2022年，8月28日 条件自信息量的例子例 设xi表示棋子落入第i行； yj表示棋子落入第j列， i, j =1,2,…,8，则（1）（2）第十三页，共三十七页，2022年，8月28日 2.2 互信息量定义 随机事件y的出现给出关于事件x的信息量，定义为互信息量。定义式：第十四页，共三十七页，2022年，8月28日 互信息量的含义还可表示为：含义：本身的不确定性，减去知道了事件y之后仍然保留的不确定性，即由y所提供的关于x的信息量互信息量=自信息量-尚存在的不确定性第十五页，共三十七页，2022年，8月28日 互信息量的例子事件：x=“美国总统的专机发生空难”y=“今天是9.11”概率：p(x)= 0.01% p(x|y)=1%前面已求出自信息量和条件自信息量为： 而x和y的互信息量为：第十六页，共三十七页，2022年，8月28日 互信息量的性质概率乘法公式全概率公式第十七页，共三十七页，2022年，8月28日 互信息量的性质1. 互信息量的互易性含义：由y所提供的关于x的信息量等于由x 所提供的关于y的信息量第十八页，共三十七页，2022年，8月28日 互信息量的性质2. 互信息量可为0何时为0： 这表明当x和y统计独立时，也就是x和y没有什么关系的时候，互信息量为0。含义：一个事件不能提供另一个事件的任何信息。即一个事件发生之后，对于确定另一个事件是否发生没有任何帮助。第十九页，共三十七页，2022年，8月28日 互信息量的性质3. 互信息量可正可负正：y的出现有助于肯定x的出现 x：张三病了。 y：张三没来上课。负：y的出现有助于否定x的出现 x：李四考了全班第一名。 y：李四没有复习功课。无论正负，互信息量的绝对值越大，x和y的关系越密切。第二十页，共三十七页，2022年，8月28日 互信息量的性质4.互信息量不可能大于其中任一事件的自信息量互信息量=自信息量-尚存在的不确定性第二十一页，共三十七页，2022年，8月28日 互信息量的例子例2.2.1 已知条件p(B)=p(C)=p(D)=1/3, p(D|E)=0, p(B|E)=p(C|E)=1/2p(C|EF)