10-11第二期信息论作业题参考答案.docVIP

第1讲 信息论创始人是谁？ 香农。 信息和消息、信号有什么联系与区别？ 从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。 通信系统的主要性能指标是什么？ 有效性、可靠性和安全性。 举例说明信息论有哪些应用？ 为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。具体应用实例有： 语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式识别等。 2.4 （求车牌自信息量） 某车牌号的概率是 1/26 3× 1/10 3，24bit/牌，后一种概率为 1/36 6，31bit/牌， 第2讲 设二元对称信道的传递矩阵 条件概率矩阵 为 若P 0 3/4, P 1 1/4，求H X , H Y , H X/Y , H Y/X 和I X;Y ； 先求P Y ∑XP XY 和P XY P X P Y|X ，再得各种熵和互信息。 H X H 3/4,1/4 , H Y H 7/12,5/12 ; H XY H 1/2,1/4,1/12,1/6 ; H X/Y H XY -H Y H Y/X H XY -H X ；或H Y/X ∑P X a H Y/a H 3/4,1/4 I X;Y H X -H X/Y H X +H Y -H XY ； 2.2（求条件信息量） 1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P 0.25×0.75/0.5 0.375 3/8，信息量为I -log0.375 1.42比特。 2.5 2.10 1 2 （由联合概率分布求熵、联合熵和条件熵） 思路：先求出X、Y、Z、XZ、YZ、XYZ的概率或联合分布，再求其熵。 如：P Z XY 0 1-P XY 1 7/8，P ZX P YX 1 1/8,.. 2 思路：通过X、Y、Z及其联合概率分布求X/Y等条件概率分布P X/Y P XY /P Y ，再求其熵。或根据H X/Y H XY -H Y 从联合熵计算条件熵。 Z\Y 0 1 0 1/2 3/8 1 0 1/8 第3讲 2.10 （3）（由联合概率分布求平均互信息和条件互信息） 通过H X;Y H X -H X|Y ，H X;Y|Z H X|Z -H X|YZ 和H X|Y H XY -H Y 关系式求各种互信息量 2.12，X表示天气情况，Y表示天气预报，0表雨，1表无雨。求1）准确率（提示P 00 +P 11 12/16），2 从预报得到的信息量I X;Y （X 0 3/16，X 1 13/16，Y 0 11/16，Y 1 5/16），3 总是报无雨时的准确率和预报信息量（提示，Y 0 0，Y 1 1；准确度 13/16，I X;Y 0）。 2.14（由X概率分布和条件概率分布求互信息和条件互信息） 先求联合概率分布p xy1y2 p x p y1y2|x ， 如p y1y2|x p 00|0 1，p 10|1 1，p 11|2 1/2，p 01|2 1/2，余为0y1y2 联合概率分布如下 xy1y2 00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 I X;Y1 0.5；I X;Y2 1; I X;Y1Y2 H X +H Y1Y2 -H XY1Y2 1.5+2-2 1.5 I X;Y1|Y2 I X;Y1Y2 -I X;Y2 .0.5，I X;Y2|Y1 I X;Y1Y2 -I X;Y1 .1 第4讲 1，某l离散无记忆信源只输出n个符号，则当信源呈（ 等概 ）分布情况下，熵为最大值（log n）。 2，某连续信源幅度受限，则当信源呈（ 均匀 ）分布情况下，熵为最大值（log（b-a））。 3，如果连续随机变量X的均值为零，平均功率受限于P，则当X服从 高斯 log 。 4，设连续随机变量X的概率密度函数服从均匀分布，求微分熵，并说明大于0的条件。 答案： 第5讲 随机信源如何分类？ 从消息变量取值的连续性分：离散信源和连续信源 从连续信源输出时间上的连续性分：连续信源和波形信源 从离散信源的消息序列的长度来分：单符号信源和序列（扩展）信源 从离散信源序列之间的有无相关性分：无记忆信源 DMS 和有记忆信源 从离散有记忆信源序列的相关程度分：平稳信源、M阶Markov信源、…… 什么是平稳信源、什么是Markov链、齐次Markov链、平稳齐次Markov