2.2平均互信息量.docVIP

2.2平均互信息量 现在来一般地研究平均互信息量。 2.2.1平均互信息量的定义 定义互信息量在联合概率空间中的统计平均值作为平均互信息量： 　　(2.2.1) 考虑到条件概率与联合概率之间的关系式： 容易推出： 　　(2.2.3) 2.2.2平均互信息量的物理意义 可以从三个不同的角度观察平均互信息。 　（1）由式（2.2.3）得： 　（2）由式（2.2.2）得： 　（3）由式（2.2.3）得 [例2.2.1]仍以[例2.1.5]为例，验证式（2.2.4），（2.2.5），（2.2.6）的正确性。 平均互信息的物理意义 （1）Y对X的平均互信息 * Y对X的平均互信息是对Y一无所知的情况下，X的先验不定度与收到Y后关于X的后验不定度之差，即收到Y前、后关于X的不确定度减少的量。 H(X/Y)表示收到随机变量Y后，对随机变量X仍然存在的不确定度，这是Y关于X的后验不定度，通常称它为信道疑义度或损失熵(代表了在信道中损失的信息) (2)X对Y的平均互信息 * X对Y的平均互信息是Y的先验不定度与发出X后关于Y的后验不定度之差，即发X前、后关于Y的不确定度减少的量。H(Y/X)表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度，常被称为噪声熵。 (3) Y对X的平均互信息 * 信道两端随机变量X，Y之间的平均互信息量等于通信前、后整个系统不确定度减少的量。联合熵表示输入随机变量X，经信道传输到达信宿，输出随机变量Y，即收发双方通信后，整个系统仍然存在的不确定度。如果在通信前，我们把X，Y看成是两个独立的随机变量，那么通信前，整个系统的先验不定度即X和Y的联合熵等于H(X)+H(Y)；通信后，我们把信道两端同时出现X和Y看成是由信道的传递统计特性联系起来的具有一定统计关联关系的两个随机变量，这时整个系统的后验不定度由H(XY)描述。 [例]将已知信源接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 0.98 0.02 0.2 0.8 解：（1）由求出各联合概率： （2）由得到Y集各消息概率： （3）由，得到X的各后验概率： 同样可推出 （4） =0.98(比特/符号) = 1.43（比特/符号） （5）平均互信息 （6）疑义度 （7）噪声熵 [例]设二进制对称信道的输入概率空间为，信道转移概率如下图 0 q 0 1-q 1-q 1 1 q 由信道特性决定的条件熵： 由可求得 平均互信息量 …(1) 在式（1）中，当不变即固定信道特性时，可得随输入概率变化的曲线，如下图所示。由图可见，二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。 1-H(q) 0 0.5 1 p 在式（1）中，当固定信源特性时，平均互信息量就是信道特性的函数，其随变化的曲线如下图所示。由图可见，当二进制对称信道特性==时，信道输出端获得信息量最小，即等于0。说明信源的全部信息都损失在信道中了。这是一种最差的信道。 H(p) 0 0.5 1 q 2.2.3平均互信息量的性质 这里只是罗列出平均互信息量的所有性质，并加以简要说明。 　1．对称性 　2．非负性 3．极值性 　4．凸函数性 　5．数据处理定理 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息和输出消息之间的平均互信息量一般趋于变小。