数据通信与计算机网络参考.pptxVIP

思维世界的发展，在某种意义上说，就是对惊奇的不断摆脱。 -爱因斯坦（美国）;4.2.3 离散信道容量的一般计算方法;(1) 离散信道容量的计算方法;(2) 用拉格朗日乘子法求信道容量;将I(X;Y)的表达式代入(4.2.21)得 整理得;式(4.2.24)左边为平均互信息的极大值，即;(2) 用拉格朗日乘子法求信道容量;(3) 一般离散信道容量计算步骤;注意： 在第②步信道容量C被求出后，计算并没有结束，必须解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的C才存在。 在对I(X;Y)求偏导时，仅限制 ，并没有限制p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C就不存在，必须对p(xi)进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。 ;(4) 举 例;因为ε是条件转移概率p(y1/x2) ，所以0≤ε≤1，从而有 p(x1)≥0， p(x2) ≥0 ，保证了C的存在。 ;4.3 多符号离散信道;4.3.1 多符号离散信道的数学模型;该信源通过多符号离散信道{X P(Y/X) Y}后，相对于每一个ai，信道输出端输出一个相应的、由N个符号组成的输出符号序列bj。 ;单符号离散信道的N次扩展信道的数学模型 单符号离散信道的N次扩展信道数学模型如图所示 ;单符号离散无记忆信道与其N次扩展信道传递概率之间的关系 无记忆性：离散信道在时刻k的输出随机变量Yk只与时刻k的输入随机变量Xk(k=1,2,…,N)有关，与k时刻之前的输入随机变量X1X2…Xk-1和输出随机变量Y1Y2…Yk-1无关。 无预感性：k时刻之前的输出随机变量序列Y1Y2…Yk-1只与k时刻之前的输入随机变量序列X1X2…Xk-1有关，与以后的第k时刻的输入随机变量Xk无关。 离散无记忆信道的N次扩展信道 ;离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。 离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。即输出随机变量Yk只与对应的输入随机变量Xk有关。 离散无记忆信道的N次扩展信道的数学模型可以用下图表示 ;单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系 离散无记忆信道N次扩展信道两端的平均互信息为 I(X;Y)=H(Y)－H(Y /X) 平均互信息公式;第k个随机变量Xk单独通过单符号离散信道时的平均互信息 N个输入、输出变量的平均互信息之和为 上两式相减得 ; 当且仅当信源X =X1X2…XN无记忆，或者说信源X是离散无记忆信源X的N次扩展信源XN =X1X2…XN时，即 即输出端各Yk(k =1,2,…,N)相互独立。;这时有 结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。;单符号离散无记忆信道与其N次扩展信道信道容量之间的关系 由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xk∈{x1x2…xN}(k=1,2, …,N) ，并具有相同的概率分布，而且都通过同一个离散无记忆信道[X P(Y/X) Y] ， 信道输出端随机变量序列中的随机变量Yk(k=1,2, …,N)也取自同 一符号集并具有相同的概率分布，而且相互统计独立。 所以 I(Xk; Yk)= I(X; Y) 结论：离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。;结论的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。 用C表示离散无记忆信道容量，用CN表示其扩展信道容量， CN=NC ;独立并联信道 独立并联信道/独立并列/独立平行/积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N次扩展信道的推广。 输入随机序列X=X1X2…XN ，Xk∈{x1k,x2k,…,xnk} 输出随机序列Y=Y1Y2…YN ，Yk∈{y1k,y2k,…,ynk} N个独立并联信道的容量CN 第k个单符号离散无记忆信道的信道容量Ck 当输入端各随机变量统计独立，且每个输入随机变量Xk (k=1,2, …,N) 的概率分布达到各自信道容量Ck(k=1,