信息论基础 知识.ppt

Z中某事件Cm发生条件下, X与Y集合元素间提供的互信息量为: 2. 信息不增原理(信息处理定理) 该定理说明,经过信息处理后, 信息量不会增加, 而只会减少, 即处理中可能会丢失一些信息. 问题: 该定理的结论是否与信息处理的实际效果不一致? 这里所说的信息是指输入概率空间X的初始信息量,并不包括传输过程中的噪声与干扰.而一般说的信息处理大多是用来消除接收信号中的噪声与干扰的. ? 该定理表述的信息是Shannon信息,即概率统计意义上的信息,而人们感知的信息并未计入.现代信息处理已远超出Shannon信息论的范畴,在处理过程中加入了改善感知的许多信息. 连续变量的信息度量 1.连续变量的微分熵 连续变量的熵: 微分熵(又称为相对熵, 或差熵) 又可以写成 2. 微分熵的性质: (1)微分熵不代表不确定性,是它能用来表征两个概率空间的互信息量, 因而在连续随机变量的信息研究中起重要作用; (2).h(X)不具有非负性: 其值可正,可负,也可以为0; (3) h(X)值与坐标系有关; 微分熵是计算互信息量的基础. 3.连续随机变量的互信息量 两个连续随机变量集X与Y之间的互信息量I(X;Y)可表示为 其中, 4. 连续变量的最大熵 (1)峰值功率受限(幅值受限): 则当p(x)=1/(b-a)时具有最大熵, 即 (2) 平均功率受限 作业N0.1： 戴书: p.25 #1, 通信原理 p.437: 习题#2, #5 作业N0.2：戴书: p.25 #5(只做(1),(2)小题) 补充题：某电报系统，发送传号M和空号S的概率相等，在信道噪声的影响下，使1/6的传号M收成空号S，而半数的空号S收为传号M。问：收信者收到一个消息后获得的平均信息量是多少？ 本章小结 离散变量的自信息量 离散变量集的平均信息量-熵 平均互信息量-由信源发出通过信道到达信宿的平均信息量 损失熵与噪声熵 各种信息量之间的关系：文氏图与信息流图 连续随机变量的信息度量 7 信息不增原理 互信息量 设有两个离散的符号消息集合X Y， X表示信源发出的符号消息集合 Y表示信宿接收的符号消息集合 每个符号消息相当于一个随机事件 信源发出符号消息通过信道传递给信宿 X信道的输入消息；Y信道的输出消息 信源 信道 信宿 X Y 信源X的概率空间为： 这里p(xi)（i=1,2,3等）是集合X中各个消息x1，x2 ，x3 …的概率分布，它又称为先验概率。 信宿Y的概率空间为： 这里p(yj)（j=1,2,3等）是集合Y中各个消息y1，y2 ，y3 …出现的概率。 收信者获得的信息量 当信宿接到集合Y中的一个消息符号后，接收者重新估计关于信源的各个消息 发生的概率就变成条件概率，这种条件概率又称为后验概率。 收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。 不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。 不确定程度的减少量 当接收到yj后，重新估计xi的发生。收信者从不确定到比较确定或完全确定，依赖于所获得的信息量。可以直观地将它定义为：I(信息量)=不确定程度的减少量 那么，当接收者收到yj后，所获得的信息量为 收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加。 事件之间的互信息量 互信息量的性质 1.互信息量的互易性 2.互信息量可为零 3.互信息量可正可负 4.任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量(有限性) 互信息量的性质：1、互易性 互信息量的互易性可表示为： 此性质的意义是： 事件 提供的有关于事件 的信息量等于由事件 提供的关于事件 信息量 证明： 互信息量的性质：2、可为零 当事件 ， 统计独立时，互信息量为零。 这表示不能从观测 获得关于另一个事件 Xi 的任何信息。反之亦然。 证明 此性质的意义是：当两个事件统计独立时，其相互信息量为零，这也就是说不能从观测一个事件中获得有关另一个事件的任何信息。 互信息量的性质：3、可正可负 在给定观测数据 的条件下，事件 出现的概率 称为后验概率 当后验概率 大于先验概率 时，互信息量 大于零，为正值； 互信息量为正，意味着事件 的出现有助于肯定 事件 的出