信息论和编码2012.pptVIP

;A little learning is a dangerous thing;信息论与编码基础;信息论与编码基础;信息论与编码基础;I(X;Y)≥0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 结论： 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。;信息论与编码基础;极值性;;4、与各类熵的关系;2.1.5 各种熵之间的关系;信息论与编码基础; 平均互信息量是p(xi)和p(yj /xi)的函数， 即I(X;Y)=f [p(xi), p(yj /xi)]； 若固定信道，调整信源， 则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f [p(xi)]； 若固定信源，调整信道， 则平均互信息量I(X;Y)是p(yj /xi)的函数，即I(X;Y)=f [p (yj /xi)]。;信息论与编码基础; I(X;Y)是 p(xi)的上凸函数;上凸性证明;上凸性证明;上凸性证明;信息论与编码基础;数据处理定理; 串联信道; 数据处理定理;结论： 两级串联信道输入与输出消息之间的平均互信息量既不会超过第Ⅰ级信道输入与输出消息之间的平均互信息量，也不会超过第Ⅱ级信道输入与输出消息之间的平均互信息量。 当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 ;信息论与编码基础;信息论与编码基础;信道转移矩阵;信息论与编码基础;b)性质;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础