南京工程学院通信工程学院信息论与编码课件第3章 信道与信道容量.ppt

信道的组合 组合方式 待发送的消息比较多时，可能要用两个或更多个信道并行地传送，Shannon[1956]称这种信道为积信道 有时消息会依次地通过几个信道传送，如无线中继信道，称其为级连信道 有时将两个以上信道联合起来，这类信道Shannon[1956]称之为和信道 积信道 定理：独立并行信道的容量为各分信道容量之和，即 和信道 和信道的互信息 定理： 信道1和信道2的和信道的容量C满足 级连信道 Eg： 积信道 和信道 级联信道 N个信道级联，则 串联信道的C 按照定义： C(1,2)=maxI(X;Y) C(1,2,3)=maxI(X;Z) 有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量 信道容量 I(X;Y)=1-H(?)，I(X;Z)=1-H[2? (1-?)] 级联（串联）信道的模型 信道1和2都是离散无记忆信道 级联信道中的平均互信息满足以下关系 第一个等号成立的条件是 输出随机变量Z仅依赖于随机变量Y，与前面的X无关 第二个等号成立的条件是 输出随机变量Z仅依赖于随机变量X，与前面的Y无关 独立并联信道 序列的转移概率 p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL) 1 1 1 1 X1 p(Y1/X1) Y1 X2 p(Y2/X2) Y2 …… XL p(YL/XL) YL ? 两个定理 定理1：信道是无记忆的 平均互信息I(X;Y)小于或等于单个随机变量I(Xi;Yj)的互信息之和 定理2：信源是无记忆的 平均互信息I(X;Y)大于或等于单个随机变量I(Xi;Yj)的互信息之和 离散序列信道的容量 离散序列信道 信道 p(Y/X) Y X X=(X1X2…XL) Xl?{a1,a2,…,an} Y=(Y1Y2…YL) Yl ?{b1,b2,…,bm} 离散无记忆序列信道的容量 离散无记忆序列信道 1 1 1 1 1 进一步信道是平稳的 离散无记忆序列信道容量 回顾前面的结论 信道无记忆 信源无记忆：输入矢量X的各个分量相互独立 1 1 1 1 1 当信道平稳时CL=LC1，一般情况下，I(X;Y) ? LC1 扩展信道的信道容量 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 BSC的二次扩展信道 1 1 1 1 X?{00,01,10,11}，Y?{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2 00 10 11 01 00 01 10 11 扩展信道的C 1 1 1 1 若p＝0.1，则C2＝2－0.938＝1.062比特/序列 连续信道及其容量 连续单符号加性信道 信道的输入输出：取值连续的一维随机变量 加入信道的噪声：均值为0，方差为?2 的加性高斯噪声，概率密度函数记为 信道容量 x (x?R) p(y/x) y (y?R) n pn(n)＝N(0, ?2) 连续单符号加性信道 要想获得最大值，Hc(Y)应该最大。根据限平均功率最大熵定理，Y正态分布时熵最大 pY(y)＝N(0,P)，pn(n)＝N(0, ?2)，y=x+n，所以pX(x)＝N(0,S) C＝1/2 log(1+SNR) 信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 若是加性的，可以求出信道容量的上下界 噪声为非高斯型 实际中的噪声通常非高斯型，若只考虑加性噪声，不考虑乘性噪声。加性噪声均值为0，平均功率为σ2的非高斯噪声信道，信道容量有上下界 噪声为非高斯型-2 物理含义： 1）若输入信号X的分布能使x+n=y呈高斯分布，则Hc(Y)达到最大值，信道容量达到上限值 不等式的右边，是噪声熵考虑的最坏情况，即噪声为加性高斯噪声时，信道容量最小。 同样平均功率受限的情况下，非高斯噪声信道的容量大于高斯信道的容量。 多维无记忆加性连续信道 信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL 是均值为零的高斯噪声 多维无记忆加性连续信道 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 比特/L维自由