信息论与编码3----信源及信源熵2.pptVIP

信息论与编码-信源及信源熵 上一讲复习 互信息量（续） 连续信源熵 信源序列熵 信息论与编码-信源及信源熵 上一讲复习 1. 信源的分类 连续信源 信源 单符号无记忆离散信源 离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源 信息论与编码-信源及信源熵 2.信源的数学模型 无记忆离散信源：用概率空间 有记忆离散信源：联合概率空间 信息论与编码-信源及信源熵 自信息量 信源熵 互信息量 信息论与编码-信源及信源熵 一些关系式 信息论与编码-信源及信源熵 2.2.3 互信息量（续） 平均互信息量的物理意义： I(X;Y)是H(X)和H(X|Y)之差。因为H(X)是符号集合X的熵或不确定度，而H(X|Y)是当Y已知时X的不确定度，可见“Y已知”这件事使X的不确定度减少了I(X;Y) ，这意味着“Y已知”后所获得的关于X的信息量是I(X;Y) 。这可以看成是信源符号集合X ，信宿符号集合Y，平均互信息量I(X;Y)表示在有扰离散信道上传输的平均信息量。信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量。 信息论与编码-信源及信源熵 换句话说，在有扰离散信道上，各个接受符号y所提供的有关信源发出的各个符号x的平均信息量I(X;Y)，等于唯一地确定信源符号x所需要的平均信息量H(X)，减去收到符号y后，要确定x所需要的平均信息量H(X|Y)。条件熵H(X|Y)可以看作是由于信道上存在干扰和噪声而损失掉的平均信息量，又可以看作是信道上的干扰和噪声所造成的对信源符号x的平均不确定度，故又称为疑义度。 信息论与编码-信源及信源熵 而由互信息量的第二个关系式，互信息量可以看作在有扰离散信道上传递消息时，唯一地确定接受符号y所需要的平均信息量H(Y)，减去当信源消息已知时确定接受符号y仍然需要的平均信息量H(Y|X)，因此， H(Y|X)也可以认为是唯一地确定信道噪声所需要的平均信息量，故又称为噪声熵或散布度，其关系可由图2-2-3来形象地表示。 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 两种特殊情况： 1．p(xi|yj)=1 此时I(xi;yj)=I(xi) ，这表明，当后验概率p(xi|yj)=1 (即收到输出符号yj，推测输入符号xi的概率为1)时，收到yj即可确切无误地收到输入符号xi，消除对xi得全部不定度，从yj中获取xi本身含有的全部信息量，即xi的自信息量I(xi)。 此时Y已知就完全解除了关于X的不确定度，所获得的信息就是X的不确定度或熵。也可以看成是无扰信道，由于没有噪声，疑义度H(X|Y)为零，噪声熵也为零。于是有I(X;Y)=H(X)=H(Y)。 信息论与编码-信源及信源熵 2．p(xi|yj)=p(xi) 这时，由于后验概率p(xi|yj)等于先验概率p(xi)，所以后验概率与先验概率的比值等于1，即有I(xi;yj)=0 这表明，当后验概率p(xi|yj) 等于先验概率p(xi) 时，收到yj后对信源发xi的不定度等于收到yj前对信源发xi的不定度，收到yj后并没有减少对信源发xi的不定度，从yj中获取不到关于xi的信息量。 信息论与编码-信源及信源熵 这就是说，输出符号yj与输入符号xi之间没有任何联系，完全是互不相关的两码事。显然，在这种情况下，xi与yj之间的交互信息量应该等于0。 这可以理解为X与Y相互独立，无法从Y中提取关于X的信息。也可以看成信道熵噪声相当大，以至有H(X|Y)=H(X)。在这种情况下，能够传输的平均信息量为0，成为全损信道。 信息论与编码-信源及信源熵 一般情况下，X和Y既非互相独立，也不是一一对应，那么从Y获得的X信息必在零与H(X)之间，即常小于X的熵。 信息论与编码-信源及信源熵 三维联合集的平均互信息： 信息论与编码-信源及信源熵 数据处理中平均交互信息量的不增性： 在一些实际的通信系统中，我们常常需要在信道输出端对接收到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可看成是一种信道，它与前面传输数据的信道是串联的关系。 信息论与编码-信源及信源熵 如图2.2所示的串