信息论考试试题集.doc

自信息量的公式为 （ ）。 连续信源输出信号的峰值功率受限时，（ 均匀）分布的熵最大；连续信源输出信号的平均功率受限时，（ 正态 ）分布的熵最大。 3、当X和Y相互独立时，互信息为（ 0 ）。 A、 1 B、 0 C、某一个正数 4、信源为X，信宿为Y，条件熵H（X|Y）称为（ 信道损失熵 ）。 5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C，输入信源符号长度为L，当信息传输速率（ R〈 C ）时，总可以找到一种编码方法， 当L足够长时，译码的错误概率为任意小正数。 已知X，Y∈{0，1}，XY构成的联合概率为：P（00）=P（11）=，P（01）=P（10）=，( ), 计算： 熵H（X），H（Y）； 条件熵H（X/Y），H（Y/X）； 互信息I（X；Y）。 解：1) p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5 H(X)=H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (6分) H(XY)=-2()=1.8113 H(Y|X)= H(X|Y)= 1.8113-1=0.8113(8分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=2-1.8113=0.1887 (5分 2. 求下列信道的信道容量和最佳分布。( ) 该信道为对称信道，最佳分布是等概率分布p(X)={ }(6分) 信道容量：C=(9分) 1. 某连续信道的带宽为8 kHz，信噪比为3∶1，现在要以R=比特/秒以速度传输信息，能否实现？ 如果要实现信息传输，信噪比的最小值为多少？ (212.5= 5792.6) 解： 香农定理： (8分) 这时通信传输不能实现。 SNR最小值为5791.6(2分) 投掷一个正常的硬币直到正面出现为止，令变量X表示投掷次数。 求：1列出随机变量X的概率分布；计算熵H(X)。 1） 2） H（X）=2(10分) 1条件自信息量的公式为（ ）。 2离散无记忆信源输出n个不同的消息符号，当信源呈等概率分布情况下，信源熵取最大值，且为H（X）=（ ）。 3、平均互信息I（X；Y）是输入信源概率分布{p(ai),i=1,2,…,n}的（ C ）。 A、非凸函数 B、下凸函数 C、上凸函数 4、I（X；Y）=H（X）+H（Y）-H（XY），说明信道两端随机变量X和Y之间的平均互信息量等于通信前、后整个系统不确定度（ A减小 ）的量。 5、当（ B ）条件，传递最大互信息称之为信道容量。 A、 固定信源特性，改变信道特性 B、 改变信源特性，固定信道特性 C、 信源特性和信道特性都变化 一、已知X，Y∈{0，1}，XY构成的联合概率为： P（00）=，P（10）=，P（01）=P（11）=，（ ），计算： （1）熵H（X），H（Y）； （2）联合熵H（XY），条件熵H（X/Y）； （3）互信息I（X；Y）。 解：1) p(x=0)=，p(x=1)= ，p(y=0)= ，p(y=1)= H(X)=0.9799， H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (4分) H(XY)=-()=1.9591 H(X|Y)= 1.9591-1=0.9591(4分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=0.9799-0.9591=0.0208 (5 二、求下列信道的信道容量和最佳分布。( ) 该信道为对称信道，最佳分布是等概率分布p(X)={ }(6分) 信道容量： 三、设电话信号的信息率为比特/秒，在一个噪声功率谱为、限频W、限输入功率P的高斯信道中传送。 若W=4kHz，问无差错传输所需的最小功率P是多少瓦？(214= 16384) 2）若W趋于无穷大时，则P是多少瓦？(ln2=0.6931) 解： 香农定理： (4分) 1） RC P=0.3277瓦(8分) 2) (6分) P最小值为(2分) 四、一阶马尔可夫信源的状态转移图如下，信源符号集合为{0，1，2}。 求: 1) 列出一阶马尔可夫信源的状态转移矩阵； 2) 信源的平稳分布；　 3) 信源熵。 解： 1）