信息论与编码2012ch2连续信源及其熵.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Any Questions！ * * (3) 平均互信息的非负性 ① 无条件熵和条件熵定义 ② 证明过程 * * ① 无条件熵和条件熵定义 条件熵 Hc(X/Y) Hc(Y/X) 无条件熵 Hc(X) Hc(Y) 平均互信息 Ic(X;Y) Ic(Y;X) 它们之间的关系 Ic(X;Y)= Hc(X)-Hc(X/Y) Ic(Y;X)= Hc(Y)-Hc(Y/X) * * ② 证明过程 证明： Ic(X;Y)≥0 Ic(Y;X)≥0 首先证明： Hc(X/Y) ≤Hc(X) Hc(Y/X) ≤Hc(Y) 证明第一式： Hc(X/Y) ≤Hc(X) * * (4) 对称性和数据处理定理 连续信源的平均互信息也满足对称性，即 Ic(X;Y)=Ic(Y;X) 连续信源也满足数据处理定理。即把连续随机变量Y处理成另一连续随机变量Z时，一般也会丢失信息，即 Ic(X;Z)≤Ic(X;Y) Ic(X;Z)≤Ic(Y;Z) * * * * * * * * *