2007-4-23_信道容量课件.ppt

3.3 多符号离散信道 如果在不同时刻有多个来自于同一信源的随机变量（多符号信源）通过离散信道传输，称这种信道为多符号离散信道。 3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道和独立并联信道的信道容量 3.3.1 多符号离散信道的数学模型 多符号离散信道定义 定义：多符号离散信源X =X1X2…XN在N个不同时刻分别通过单符号离散信道{X P(Y/X) Y}，则在输出端出现相应的随机序列Y =Y1Y2…YN，这样形成一个新的信道称为多符号离散信道。 由于新信道相当于单符号离散信道在N个不同时刻连续运用了N次，所以也称为单符号离散信道{X P(Y/X) Y}的N次扩展。 多符号离散信道数学模型 设信源矢量X的每一个随机变量Xk(k=1,2,…,N)均取自并取遍于信道的输入符号集{x1,x2,…,xn} ，则信源共有nN个不同的元素ai(i=1,2,…,nN)。 该信源通过多符号离散信道{X P(Y/X) Y}后，相对于每一个ai，信道输出端输出一个相应的、由N个符号组成的输出符号序列bj。 单符号离散信道的N次扩展信道的数学模型 单符号离散信道的N次扩展信道数学模型如图3.3.2所示 单符号离散无记忆信道与其N次扩展信道传递概率之间的关系 无记忆性：离散信道在时刻k的输出随机变量Yk只与时刻k的输入随机变量Xk(k=1,2,…,N)有关，与k时刻之前的输入随机变量X1X2…Xk-1和输出随机变量Y1Y2…Yk-1无关。 无预感性：k时刻之前的输出随机变量序列Y1Y2…Yk-1只与k时刻之前的输入随机变量序列X1X2…Xk-1有关，与以后的第k时刻的输入随机变量Xk无关。 离散无记忆信道的N次扩展信道 离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。 离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。即输出随机变量Yk只与对应的输入随机变量Xk有关。 离散无记忆信道的N次扩展信道的数学模型可以用图3.3.3表示 单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系 离散无记忆信道N次扩展信道两端的平均互信息为 I(X;Y)=H(Y)－H(Y /X) 平均互信息公式 第k个随机变量Xk单独通过单符号离散信道时的平均互信息 N个输入、输出变量的平均互信息之和为 上两式相减得 当且仅当信源X =X1X2…XN无记忆，或者说信源X是离散无记忆信源X的N次扩展信源XN =X1X2…XN时，即 即输出端各Yk(k =1,2,…,N)相互独立。 这时有 结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。 单符号离散无记忆信道与其N次扩展信道信道容量之间的关系 由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xk∈{x1x2…xN}(k=1,2, …,N) ，并具有相同的概率分布，而且都通过同一个离散无记忆信道[X P(Y/X) Y] ， 信道输出端随机变量序列中的随机变量Yk(k=1,2, …,N)也取自同 一符号集并具有相同的概率分布，而且相互统计独立。 所以 I(Xk; Yk)= I(X; Y) 结论：离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。 结论的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。 用C表示离散无记忆信道容量，用CN表示其扩展信道容量， CN=NC 独立并联信道 独立并联信道/独立并列/独立平行/积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N次扩展信道的推广。 输入随机序列X=X1X2…XN ，Xk∈{x1k,x2k,…,xnk} 输出随机序列Y=Y1Y2…YN ，Yk∈{y1k,y2k,…,ynk} N个独立并联信道的容量CN 第k个单符号离散无记忆信道的信道容量Ck 当输入端各随机变量统计独立，且每个输入随机变量Xk (k=1,2, …,N) 的概率分布达到各自信道容量Ck(k=1,2, …,N)的最佳分布时，CN达到其最大值： 独立并联信道推广到更一般情况： 输入