[工学]信息论与编码3----信源及信源熵2.ppt

信息论与编码-信源及信源熵 上一讲复习 互信息量（续） 连续信源熵 信源序列熵 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 2.信源的数学模型 无记忆离散信源：概率空间 有记忆离散信源：联合概率空间 信息论与编码-信源及信源熵 自信息量 信源熵 互信息量 信息论与编码-信源及信源熵 一些关系式 信息论与编码-信源及信源熵 2.2.3 互信息量（续） 平均互信息量的物理意义： I(X;Y)是H(X)和H(X|Y)之差.因为H(X)是符号集合X的熵或不确定度,而H(X|Y)是当Y已知时X的不确定度,可见“Y已知”这件事使X的不确定度减少了I(X;Y) ,这意味着“Y已知”后所获得的关于X的信息量是I(X;Y) .这可以看成是信源符号集合X ,信宿符号集合Y,平均互信息量I(X;Y)表示在有扰离散信道上传输的平均信息量.信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量. 信息论与编码-信源及信源熵 换句话说,在有扰离散信道上,各个接受符号y所提供的有关信源发出的各个符号x的平均信息量I(X;Y),等于唯一地确定信源符号x所需要的平均信息量H(X),减去收到符号y后,要确定x所需要的平均信息量H(X|Y).条件熵H(X|Y)可以看作是由于信道上存在干扰和噪声而损失掉的平均信息量,又可以看作是信道上的干扰和噪声所造成的对信源符号x的平均不确定度,故又称为疑义度. 信息论与编码-信源及信源熵 而由互信息量的第二个关系式,互信息量可以看作在有扰离散信道上传递消息时,唯一地确定接受符号y所需要的平均信息量H(Y),减去当信源消息已知时确定接受符号y仍然需要的平均信息量H(Y|X),因此, H(Y|X)也可以认为是唯一地确定信道噪声所需要的平均信息量,故又称为噪声熵或散布度,其关系可由图2-2-3来形象地表示. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 两种特殊情况： 1．p(xi|yj)=1 此时I(xi;yj)=I(xi) ,这表明,当后验概率p(xi|yj)=1 (即收到输出符号yj,推测输入符号xi的概率为1)时,收到yj即可确切无误地收到输入符号xi,消除对xi得全部不定度,从yj中获取xi本身含有的全部信息量,即xi的自信息量I(xi). 此时Y已知就完全解除了关于X的不确定度,所获得的信息就是X的不确定度或熵.也可以看成是无扰信道,由于没有噪声,疑义度H(X|Y)为零,噪声熵也为零.于是有I(X;Y)=H(X)=H(Y). 信息论与编码-信源及信源熵 2．p(xi|yj)=p(xi) 这时,由于后验概率p(xi|yj)等于先验概率p(xi),所以后验概率与先验概率的比值等于1,即有I(xi;yj)=0 这表明,当后验概率p(xi|yj) 等于先验概率p(xi) 时,收到yj后对信源发xi的不定度等于收到yj前对信源发xi的不定度,收到yj后并没有减少对信源发xi的不定度,从yj中获取不到关于xi的信息量. 信息论与编码-信源及信源熵 这就是说,输出符号yj与输入符号xi之间没有任何联系,完全是互不相关的两码事.显然,在这种情况下,xi与yj之间的交互信息量应该等于0. 这可以理解为X与Y相互独立,无法从Y中提取关于X的信息.也可以看成信道熵噪声相当大,以至有H(X|Y)=H(X).在这种情况下,能够传输的平均信息量为0,成为全损信道. 信息论与编码-信源及信源熵 一般情况下,X和Y既非互相独立,也不是一一对应,那么从Y获得的X信息必在零与H(X)之间,即常小于X的熵. 信息论与编码-信源及信源熵 三维联合集的平均互信息： 1. I(X;YZ)=I(X;Y)+I(X;Z|Y) 2. I(YZ;X)=I(Y;X)+I(Z;X|Y) 3. I(X;YZ)=I(X;ZY)=I(X;Z)+ I(X;Y|Z) 信息论与编码-信源及信源熵 数据处理中平均交互信息量的不增性： 在一些实际的通信系统中,我们常常需要在信道输出端对接收到的信号或数据进行适当的处理,这种处理称为数据处理.数据处理系统一般可看成是一种信道,它与前面传输数据的信道是串联的关系. 信息论与编码-信源及信源熵 如图2.2所示的串联信道,X是输入消息集合,Y是第一级信道输出,Z是第二级数据处理后的输出消息集合,可以证明 I(X;Z) ≤I(Y;Z) I(X;Z) ≤I