(32)--【脚本-PPT】3.10平均互信息量的不增性与数据处理定理.ppt

3.10平均互信息量的不增性与数据处理定理

一个实际的通信系统，通常是由若干个部分组成的，从信息论的角度来看，其中的每个部分都是用于传输与处理信息的，称之为数据处理系统。

广播接收机天线谐振电路高频放大器本机振荡混频(变频)器中频放大器检波器电压放大器功率放大器每个部分都可等效于一个广义信道，并且这些部分之间是一种信道串联的关系。

平均互信息量的不增性：若干个信道串接后，平均互信息量的一种特性。

假设有一单符号离散信道I，其输入随机变量为X，符号集X:{a1,a2,…ar}，其输出变量为Y，符号集Y:{b1,b2,…,bs}。设另有一单符号离散信道II，其输入随机变量为Y，输出随机变量为Z，符号集Z:{c1,c2,…,cl}。现将这两个信道串联起来，如图3-22所示。这两个信道的输入和输出符号集都是完备集。信道I的传递概率为P(Y/X):{P(bj/ai)；i=1,2,…,r；j=1,2,…,s}，信道II的传递概率一般与前面的随机变量X和Y都有关，所以记为平均互信息量的不增性与数据处理定理两个信道串连

平均互信息量的不增性与数据处理定理如以Z为观测点：平均互信息量I(XY;Z)表示联合随机变量XY与随机变量Z之间的平均互信息量，也就是收到Z之后，从Z中获得关于联合随机变量XY的平均信息量，平均互信息量I(Y;Z)表示随机变量Y与随机变量Z之间的平均互信息量；平均互信息量I(X;Z)表示随机变量X与随机变量Z之间的平均互信息量，亦即收到随机变量Z后，从随机变量Z中获得关于随机变量X的平均互信息量。

平均互信息量的不增性与数据处理定理如以X为观测点：平均互信息量I(Y;X)或者I(Z;X)分别表示随机变量X与Y之间的平均互信息量或者X与Z之间的平均互信息量，也就是收到X之后，从X中获得关于Y或者从X中获得关于Z的平均互信息量。

平均互信息量的不增性与数据处理定理定义3-1随机变量(XYZ)是马氏链，是指对一切i，j，k，等式恒成立，从而满足P(Z/XY)=P(Z/Y)，（3-115）即随机变量Z仅只依赖于随机变量Y，与随机变量x无直接联系。

平均互信息量的不增性与数据处理定理引理3-1若(XYZ)是马氏链，则(ZYX)也是马氏链。证明根据定义3-1，当以Z为观测点时，(XYZ)是马氏链。现以X为观测点，马氏链的方向刚好相反。从平均互信息的交互性和对称性的角度来看，当(XYZ)为马氏链时，可以得出(ZYX)也是马氏链。事实上，因(XYZ)是马氏链，则有

平均互信息量的不增性与数据处理定理由此证明了当(XYZ)是马氏链时，(ZYX)也是马氏链。

平均互信息量的不增性与数据处理定理有关马氏链的两点说明如下:根据平均互信息的对称性，马氏链的所有变量的方向都全部反向的情况下仍然是马氏链，但如果只是其中的一部分变量的方向反向，则不一定是马氏链。如：若(XYZ)马氏链，则(YXZ)不一定是马氏链，其余情况依此类推。若(XYZW)是马氏链，在不改变前后顺序的前提下，它们当中的任何三个随机变量均构成马氏子链。如：因(XYZW)是马氏链，则(XZW)、(XYW)、(XYz)、(YZW)等都是马氏子链。

平均互信息量的不增性与数据处理定理定理3-6对于图3-22所示随机变量(XYZ)构成的两个信道的串联，则有?(3-116)当且仅当(XYZ)是马氏链时，才能使等式成立。证明根据平均互信息的定义，有

平均互信息量的不增性与数据处理定理根据上式，得?

平均互信息量的不增性与数据处理定理定理3-7对于图3-22所示随机变量(XYZ)构成的两个信道的串联，则有(3-117)当且仅当(YXZ)为马氏链，即对一切i，j，k都有?才能使等式成立。

平均互信息量的不增性与数据处理定理证明用上述同样的方法可证明这一结论。根据平均互信息的定义，有以及

平均互信息量的不增性与数据处理定理将上面的两式相减，得?

平均互信息量的不增性与数据处理定理?根据定理3-7，可知从Z中获取关于X平均互信息I(X;Z)，不会超过从Z中获取关于联合变量XY的平均互信息量I(XY;Z)，只有当(YXZ)为马氏链时这两者才会相等。

平均互信息量的不增性与数据处理定理定理3-8当(XYZ)是马氏链时，则有(3-118)?

平均互信息量的不增性与数据处理定理证明：?????

平均互信息量的不增性与数据处理定理

平均互信息量的不增性与数据处理定理下面考虑一般的通信系统模型，如图3-23所示。对于实际通信系统，(SXYZ)形成了一个马氏链，即图中每一方框的输出仅取