信息论考及探讨.doc

考试科目名称：信息论 单选（每空2分，共20分） 信道编码的目的是（ C ），加密编码的目的是（ D ）。 A．保证无失真传输 B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性 下列各量不一定为正值的是（ D ） A．信源熵 B．自信息量 C．信宿熵 D．互信息量 下列各图所示信道是有噪无损信道的是（ B ） A． B． C． D． 下表中符合等长编码的是（ A ） 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（ A ） A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X） D．若X和Y相互独立，H（Y）=H（YX） 一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（ C ） A． B．1 bit C．n bit D． 已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵 H∞ =1.5比特/符号。问若用一般传送方式，冗余度为（ B ） A．0.32 B．0.68 C．0.63 D．0.37 某对称离散信道的信道矩阵为 ，信道容量为（ B ） A． B． C． D． 下面不属于最佳变长编码的是（ D ） A．香农编码和哈夫曼编码 B．费诺编码和哈夫曼编码 C．费诺编码和香农编码 D．算术编码和游程编码 综合（共80分） （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。 （1分）将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yil?B={b1，b2，…，bi，…，bm} 这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。 （1分）奇异码和非奇异码 若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。 （1.5分）唯一可译码 任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码 （1.5分）即时码：只要收到符号就表示该码字已完整，可以立即译码。 即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。 （15分）有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： 信源全部状态及状态转移概率； 画出完整的二阶马尔可夫信源状态转移图； 求平稳分布概率。 解： 符号条件概率矩阵 状态转移概率矩阵 （5分） （5分） 平稳分布概率 （5分） （20分）具有符号集的二元信源，信源发生概率为：。Z信道如图 所示，接收符号集，转移概率为：。发出符号与接收符号的失真：。 计算平均失真； 率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真是多大？ 率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真是多大？ 画出R(D)-D曲线。 解： 已知信源符号概率； 转移概率矩阵； 失真矩阵； 联合概率矩阵； 。（5分） maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)； 当q=0时，Dmin=0，即得到maxR(D)； =0。（5分） minR(D)=R(Dmax)=0； 当q=1时，转移概率矩阵，可使得到minR(D)； =1-p。（5分） （5分）  （15分）一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。 已知信道上的信号与噪声的平均功率比值为20，求该信道的信道容量； 信道上的信号与噪声的平均功率比值降至10，要达到相同的信道容量，信道通频带应为多大？ 若信道的通频带增加至2MHz时，要保持相同的信道容量，信道通频带应为多大？ 解： 已知SNR=20 （5分） 若SNR=10，C=4.392Mbit/s； W=1.27MHz（5分） 若W=2MHz，