信息论试卷含答案.docxVIP

《信息论基础》参考答案 一、填空题（共?15?分，每空?1?分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为?0，最大熵为?log23?bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或?H(S)/logr=?Hr(S)）。 5、当?R=C?或（信道剩余度为?0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为???2?，则输出信号幅度的概率密度是高斯分布或正态分布或 时，信源具有最大熵，其值为值 log?2???e 时，信源具有最大熵，其值为值 log?2???e? 2?。 1 2?? e ? x2 2??2 1 2 9、在下面空格中选择填入数学符号“??,??,??,??”或“???” （1）当?X?和?Y?相互独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）?H2??X???? H??X1X?2?? 2  ??H3??X???? H??X1X?2?X3?? 3 ,2???x???6??相对熵h?x????? ,2???x???6 ? ?相对熵h?x?????????f??x?log?f??x?dx ?P?????0.2 0.2 0.2 0.2 0.1???0.1? H(X)。 二、（6?分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算 该信源的相对熵，并说明该信源的绝对熵为多少。 ??1 Q?f??x??????4 ??0,?其它 6 2 =2bit/自由度 该信源的绝对熵为无穷大。 三、（16?分）已知信源 s1 s2 s3 s s1 s2 s3 s4 s5 s6 ??? ? ? （1）用霍夫曼编码法编成二进制变长码；（6?分） （2）计算平均码长?L?;（4?分） （3）计算编码信息率?R??;（2?分） （4）计算编码后信息传输率?R?;（2?分） （5）计算编码效率??。（2?分） （1） 《信息论基础》试卷 S1 S2 0.2 0.2 0 1 0 S3 0.2 0 0 1.0 S4 0.2 1 1 S5 S6 0.1 0.1 0 1  1 （2 （2）?L?????Pi? i???0.4???2???0.6???3???2.6?码元 6 i?1  S1???00 S2???01 S3???100 S4???101 S5???110 S6???111  符号 （3）?R????L?log?r=2.6?bit 符号 ???? ??0.973bit（ ???? ??0.973bit H??S?? L 2.53 2.6  码元 其中，?H??S?????H??0.2,?0.2,?0.2,?0.2,?0.1,?0.1????2.53bit  符号 H??S??（ H??S?? H??S?? L?log?r ????????0.973 L 评分：其他正确的编码方案：1，要求为即时码?2，平均码长最短 四、（10?分）某信源输出?A、B、C、D、E?五种符号，每一个符号独立出现，出现概率分别为 1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为?0.5??s?。计算： （1）信息传输速率?Rt?。（5?分） （2）将这些数据通过一个带宽为?B=2000kHz?的加性白高斯噪声信道传输，噪声的单边功率谱密度为 n0???10?6?W 解： Hz 。试计算正确传输这些数据最少需要的发送功率?P。（5?分） ?????（ ????? （1）?Rt??????H??X????H???X ? t?? Y?? 《信息论基础》试卷 H??X?????????log?????4?? log????log8?? log?2????log?2?? log?2 H??X?????????log?????4?? log ????log8?? log?2 ????log?2?? log?2 Rt?????? ??4??106?bps 4??106???2??106?log??1?? 10?????2??10??? ? 8 8 2 2 1 1 2 2 3 1 2 2 ??2?log?2 ??2bit 2bit 0.5?s P? ? P ?6 6?? （2）1?? P 2 ??22 P??S1?| P??S1?|?S1???? ,?P??S2?|?S1???????,?P??S1?|?S2?????1,?P?