数据处理中信息的变化讲述.pptVIP

2.2.4 数据处理中信息的变化 证明: 图中：X是输入消息集合 Y是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合 假设：在Y条件下X与Z相互独立 而且 (2) 由式（＊）和（ ＊ ＊）得： I(X;Z)＋I(Y;Z/X) =I(Y;Z)＋I(X;Z/Y) 所以，有 I(X;Z)=I(Y;Z)＋I(X;Z/Y) -I(Y;Z/X) 2.2.5 熵函数的代数性质 非负性 H（X）＝H（x1，x2，…，xn）=0 其中：等号只有在n=1时成立。 证明： （1）因为 ，且在熵函数中，对数的底总是取大于1的数，则logp(xi)〈=0， -logp(xi) =0，（i=1,2,…,n）, 所以 在熵函数中，当 n=1 时, p(x1)=1, log p(x1)=0, H(X)=H(x1)=p(x1) log p(x1)=0 证毕。 说明： （i）这就是熵函数的非负性。表明，从总