【精品课件】信息论第三版傅祖芸(3.7-3.8)[参考].pptxVIP

3.7独立并联信道及其信道容量3.8 串联信道的互信息和数据处理定理赵远方 20130804008信息与通信工程3.7 独立并联信道及其信道容量 一般的独立并联信道如右图，有时也称并用信道。每个信道的输出 只与本信道的输入 有关。N个独立并联信道故定理3.5推广得：即联合平均互信息不大于各自信道的平均互信息之和。因此得独立并联信道的信道容量是各自独立信道的信道容量，即 这N个信道的联合传递概率满足 结论：独立并联信道的信道容量不大于各个信道的信道容量之和。只有当输入符号相互独立，且输入符号的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于各信道容量之和，即 3.8串联信道的互信息和数据处理定理 实际通信系统中常常出现串联信道的情况，如微波中继接力通信就是一种串联信道，另外常常需要在信道输出端对接收到的信号或数据进行适当处理，这种处理成为数据处理。YXZ信道Ⅰ P(y/x)信道ⅡP(z/xy)串接信道 信道Ⅰ的传递概率是P(y/x)，而信道Ⅱ的传递概率一般与前面的符号X和Y都有关，记为P(z/xy)。 若信道Ⅱ的传递概率使其输出Z只与输入Y有关，与前面的输入X无关，即满足 称这两信道的输入和输出X，Y，Z序列构成马尔可夫链。 这两个串接信道可以等价成一个总的离散信道，其输入为X，输出为Z，XZP(z/x)等价的总信道的传递概率为则总信道的传递矩阵若X，Y，Z满足马尔可夫链，得总信道的传递概率 信道矩阵为 定理3.6 对于串接信道X、Y、Z，当且仅当 时，等式 成 立 。 上式 表示联合变量XY与变量Z之间的平均互信息，也就是接收到Z后获得关于联合变量X和Y的信息量。而 是接收到Z后获得关于变量Y的信息量。由上式的成立条件可知随机变量X、Y、Z组成一个马尔可夫链。在在串联信道中随机变量Z往往只依赖信道Ⅱ的输入Y，不直接与变量X发生关系，即随机变量Z仅仅通过变量Y而依赖于X。所以得出以下定理。定理3.7 若X、Y、Z组成一个马尔可夫链，则有定理3.7表明通过数据处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息有所增加。也就是说，对接收到的数据Y进行处理后，无论变量Z是Y的确定对应关系还是概率关系，决不会减少关于X的不确定性。故定理3.7称为数据处理定理。 例3.13：有二个信道的信道矩阵分别为 和它们的串联信道如右图所示。求证：串联信道的总信道矩阵可知根据概率关系和上式得因而得此例说明不论输入信源X的符号是如何分布，如果满足 ，即串联信道的总的信道矩阵等于第一级信道矩阵时，串联噪声信道不会使信道中信息损失增加。（对所有的x，y，z）（对所有的x，y，z）YWXZ信道Ⅰ信道Ⅱ信道Ⅲ如下图一系列串接信道则有，这就是信息的不增性原理，与热熵不减原理正好相反。因而串接信道的信道容量为 C串（ Ⅰ， Ⅱ ）C串（ Ⅰ， Ⅱ, Ⅲ ）由上式可知，串接的无源数据处理信道越多，其信道容量（最大信息传输）可能会越小，当串接信道数无限大时，信道容量就有可能趋于零例3.14 设有两个离散二元对称信道，其串联信道如图所示，并设第一个信道的输入符号的概率空间为 两个二元对称信道的串联两个信道的信道矩阵为因而串联信道总的信道矩阵为根据平均互信息的定义，计算得 I(X;Y)=1- H(p)（比特/符号） I(X;Z)=1- H[2p(1-p)] （比特/符号）如右图，可得 I(X;Y)I(X;Z)表明二元对称信道串联后会增加信息的损失，从图中还可知，当串联级数n增加时，损失的信息增加。当n → ∞时，I(X;Xn)=0对于信道容量有， C串(Ⅰ,Ⅱ, …,n)= C串(Ⅰ,Ⅱ, …,n)=n级二元对称信道串联的平均互信息（输入符号等概率分布） SS1S2 …SN XX1X2 …XN 编码信源 YY1Y2 …YN ZZ1Z2 …ZN 译码信道信宿 一般的通信系统模型如上图，随机矢量S是N个信源符号组成的信源序列，最后把N个接收符号组成的随机矢量Z传送到新宿Z可能是发送的随机矢量S的重现，也可能是随机矢量S的近似值。 我们可以把（S，X，Y，Z）看成为一随机矢量序列，对于实际通信系统，他们形成一个马尔可夫链。即上图中每一个方框的输出仅仅取决于它的输入，而与任何更前面的矢量无关，有 s ∈S ,x ∈X ，y ∈Y ,z ∈Z 对于马尔可夫子链（X,Y,Z）应用定理3.7得 I(X;Z) ≤ I(X;Y)对于马儿可夫子链（S,Y,Z）和（S,X,Z）分别应用定理3.7，可得 I(S;Z) ≤ I(S;Y) I(S;Z) ≤ I(X;Z)因此得I(S;Z) ≤ I(X;Y) 这就是一般的数据处理定理。它说明信息处理只能丢失信息，不能增加或创造信息。若进行一一对应的变换