信息论考与解说.doc

考试科目名称：信息论 单选（每空2分，共20分） 一个m位的二进制数的自信息量为（ A ） A．m bit B．1 bit C． D． 信源编码的目的是（ A ） A．提高通信有效性 B．提高信息传输的可靠性 C．提高通信系统的安全性 D．压缩信源的冗余度 下面属于最佳变长编码的是（ C ） A．算术编码和游程编码 B．香农编码和游程编码 C．哈夫曼编码和费诺编码 D．预测编码和香农编码 表中符合即时码的是（ A ）和（ D ） 下列各量可能为负值的是（ B ） A．自信息量 B．互信息量 C．信息熵 D．平均互信息量 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（ D ） A．H（XY）＝H（X）＋H（Y／X） B．若X和Y相互独立，H（Y）=H（Y／X） C．H（XY）＝H（Y）＋H（X／Y） D．H（XY）＝H（X）＋H（X／Y） 已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵 H∞ =1.4比特/符号。问若用一般传送方式，冗余度γ为（ B ） A．0.58 B．0.71 C．0.65 D．0.29 某信道传递矩阵为 ，其信道容量为（ D ） A． B． C． D． 下列各图所示信道是对称信道的是（ C ） A． B． C． D． 综合（共80分） （10分）试画出通信系统的模型，并叙述各部分的定义和作用。 解： （5分） 信源：发送消息的源。主要分为离散信源和模拟信源。（0.5分） 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。（0.5分） 信道：传输信息的物理媒介 （0.5分） 信源编码和译码（1分） 信源编码是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号。同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类：一类是无失真信源编码,适用于离散信源或数字信号；另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理。 信源编码器的主要指标：编码效率，即理论上能达到的码率与实际达到的码率之比。效率越高，编译码器的代价也将越大。 信源译码：是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。 信道编码和译码（1分） 主要作用是提高信息传送的可靠性。 信道编码器的作用：在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。 信道编码的主要方法：增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。 信道译码器的作用：具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。 加密编码和译码（1分） 隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性。 密钥（0.5分） 明文转换为密文或将密文转换为明文的算法中输入的数据p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求： 试写出信源状态转移概率矩阵； 画出完整的二阶马尔可夫信源香农线图； 试求平稳分布概率。 解： 符号条件概率矩阵 状态转移概率矩阵 （5分） （5分） 平稳分布概率 （5分） （15分）一个平均功率受限制的连续信道，其通频带为2MHz，信道上存在白色高斯噪声。 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； 信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？ 若信道的通频带减少至1MHz时，要保持相同的信道容量，信道通频带应为多大？ 解： 已知SNR=10 （5分） 若SNR=5，C=6.919Mbit/s； W=2.68MHz（5分） 若W=1MHz，C=6.919Mbit/s； SNR=121（5分） （20分）信源符号X有6种字母，概率为0.22，0.32，0.18，0.08，0.04，0.16。 求符号熵H（X）； 用香农（Shannon）编码法编成二进制变长码，求出平均码长和编码效率； 用费诺（Fano）编码法编成二进制变长码，求出平均码长和编码效率； 用哈夫曼（Huffma）编码法编成二进制变长码，求出平均码长和编码效率。 解： （5分） 香农