第二章单符号离信道.docVIP

第二章 单符号离散信道 2.1设信源通过一信道，信道的输出随机变量Y的符号集 ,信道的矩阵： 试求： 信源X中的符号(1和(2分别含有的自信息量； 收到消息Y＝b1，Y＝b2后，获得关于(1、(2的互交信息量：I((1;b1)、I((1;b2)、I((2;b1)、I((2;b2)； 信源X和信宿Y的信息熵； 信道疑义度H(X/Y)和噪声熵H(Y/X)； 接收到消息Y后获得的平均互交信息量I(X;Y)。 解: 2.2某二进制对称信道，其信道矩阵是： 设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。 解: 2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算： H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ); H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解: 2.4已知信源X的信源空间为 某信道的信道矩阵为： b1 b2 b3 b4 试求： (1)“输入(3，输出b2的概率”； (2)“输出b4的概率”； (3)“收到b3条件下推测输入(2”的概率。 解： 2.5已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。 P(A)=10-2； P(A)=1/32； P(A)=0.5。 解： 2.6某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求： 消息 a1 a2 a3 a4 a5 a6 a7 a8 概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 码字 000 001 010 011 100 101 110 111 在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)； 在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)； 在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)； 从码字W4＝011中获取关于a4的信息量I(a4;011)。 解： 2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0p1)，试证明：整个串接信道的错误传输概率pn=0.5[1-(1-2p)n]。再证明：n→∞时，limI(X0;Xn)=0。信道串接如下图所示： 解： 2.18试求下列各信道矩阵代表的信道的信道容量： 解： 2.19设二进制对称信道的信道矩阵为： 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； 求该信道的信道容量及其达到的输入概率分布。 解： 2.20设某信道的信道矩阵为 试求： 该信道的信道容量C； I(a3;Y)； I(a2;Y)。 解: 2.21设某信道的信道矩阵为 试求： (1)该信道的信道容量C； (2)I(a1;Y)； (3)I(a2;Y)。 解: 2.22设某信道的信道矩阵为 试该信道的信道容量C； 解: 2.23求下列二个信道的信道容量，并加以比较(其中0p,q1,p+q=1) 解: 2.27设某信道的信道矩阵为 其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，CN表示N个离散信道的容量。试证明，该信道的容量比特/符号，且当每个信道i的利用率pi＝2Ci-C(i＝1,2,…,N)时达其容量C。 证明: 2002 Copyright EE Lab508 international, Unicom international market, adapted future people on city of development needs, based Yu industry support, and traffic advantage, and Yangtze River culture, and ecological civiliza