信道容量的计算.docxVIP

§4.2信道容量的计算这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布p3)求平均互信息的极大值。前面已知I(X；r)是输入概率分布的上凸函数，所以极大值一定存在。而I(x；r)是尸个变量{p(X1),p(%)，???p(Xr)}的多元函数。并且满足￡p(七)=1。所以可用拉格朗日乘子法来i=1计算这个条件极值。引入一个函数：8=I(X;Y)一正p(x)解方程组i(湃可I(X;Y)一人Zp(X)]=0d^p(x)dp(x) (4.2.1)Zp(X)=1 (4.2.1) Q(y\x)ii—p(y)i可以先解出达到极值的概率分布和拉格朗日乘子人的值，然后在解出信道容量C。因为I(X;Y)=￡EpSJQglxJlogi=1j=1而p(y「=￡p(xi)Q(y.lx)，所以i=1logp(y)=(—^Inp(y))lo号=^(y^ Q(y\x)ii—p(y)i dp(x,)idp(x)ip(y.)解(4.2.1)式有ZQ(y|x)log四史—E￡p(x)Q(y|x)竺良loge-X=0i《dp(y),之i《p(y)oj=1ii=1j=1i(对i=1,2,…,r都成立)又因为CEp(x)Q(y|x)=p(y)kkkjk=1YEQ(y\xi)=1,i=1,2,...,r-j=1所以(4.2.1)式方程组可以转化为EQ(y,|x.)iogj=1Q(y;)p(yj)=X+loge(i=1,2,…，r)假设使得平均互信息/（X;Y）达到极值的输入概率分布｛p,p，…p｝这样有12r￡工i=1j=1=人+logep(x)Q(y|x)logQ(：j『jiP(七)从而上式左边即为信道容量，得C=人+loge现在令I(x；Y)=(y|x)log^^2，j=1…p EQ(y,|x.)iogj=1 Q(y;)p(yj) =X+loge(i=1,2,…，r) ￡工i=1j=1 =人+loge 一般来讲，1（%；Y）值与『关。根据（422）式和（423）式，I（土;Y）=C（i=1,2,...,r）所以对于一般离散信道有如下定理。 定理4.2.1一般离散信道的平均互信息I（X;Y）达到极大值（即等于信道容量）的充要条件是输入概率分布｛〃（气）,…,p（七）｝满足(a)I(x1;Y)=C对所有的七p(x尸0L（b）I（七;Y）C对所有的七,p（七）=0这时C就是所求的信道容量。 对于离散信道来说，其实信道容量还有一个解法：迭代解法。 定理4.2.2设信道的向前转移概率矩阵为Q=（Q（y\x）），P0是任给的输入字母的/iKxJ一个初始概率分布，其所有分量P0（气）丰0。按照下式不断地对概率分布进行迭代，更新: Pr+1(X)=Pr(X)——里生2——五Pr(X)P(Pr)ii i=1其中Pk(Pr)=exp[I 其中 Pk(Pr)=exp[I(X=x「Y)]| P=Pr =exp j=1 Q(y|x)^KhPrQy\xJ 由此所得的I r,Q）序列收敛于信道容量C。 我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1）七我知^E)Pk(P)}k=1I=\og{maxp(P)}IUI I=\og{maxp(P)} I U I L kk 图4.2.1信道容量的迭代算法 图4.2.1 定义4.2.1设X和Y分别表示输入信源与输出信源，则我们称H?|Y）为损失熵,HY|x）为信道噪声熵。 0，则次信道容量为如果信道的损失熵HmaxH(X)=1ogr(bit/符号)这里输入P(x)C=maxI(X;Y)=maxH(x)-H 0，则次信道容量为 如果信道的损失熵H maxH(X)=1ogr(bit/符号)这里输入P(x) 如果信道的噪声熵HG|X)=0 如果信道的噪声熵H C=maxI(X;Y)=maxH(Y)=logs(bit/符号)P(x)P(x)这里输出信源符Y的符号个数为s. 定义4.2.2一个信道Q称为对称离散信道，如果它满足下面的性质: 信道Q矩阵中每一行是另一行的置换； 每一列式另一列的置换。 例如，信道矩阵1316 1 3 1 6 1 6 1 3 1 1 1 2 3 6 1 1 1 6 2 3 1 1 1 3 6 2 和Q= 所以对应信道是对称离散信道。满足对称性，定义4.2.3对称离散信道的信道容量为C=logs-H(P,P,...,P：)(bit/符号) 所以对应信道是对称离散信道。 上式只与文寸称信道矩阵中行矢量｛｛,P,…,P｝和输出符号集的个数s有关。 证明I(X;Y)=H(Y)-HY|X)G|x)=￡p(x)x=ZP(x)HG|X=x)x由于信道的对称性，所以HG|X=工)与x无关，为一常熟，即C=maxH G|x)=￡p(x)x =ZP(x)HG|