信息论总复习.docVIP

第一章作业题 1. 设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1) ? 2) 2. 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？ 解： 对本题建立数学模型如下： 以下是求解过程： ? 3. 试求以下各信道矩阵代表的信道的容量： 解：(1) 这个信道是无噪无损信道： (2) 这个信道是无噪有损信道 (3) 这个信道是对称的离散信道 (4) 这个信道是对称的离散信道 4. 有一个二元对称信道，其信道矩阵为 设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？ 解：信道容量计算如下： 也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是： 现在需要传送的符号序列有14000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是 要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。 第一章作业题 1. 试说明信息、消息和信号三者的联系与区别. A. 区别：(1).概念: 信息是事物运动状态或存在方式的不确定性描述；消息是指能被人的感觉器官所感知的事物运动状态或存在方式的表现形式；信号是消息的物理表现形式； (2). 信息是抽象的概念，消息是具体的概念，而信号则是物理性的概念 联系：消息中包含信息，是信息的载体，信息是消息中隐含的本质内容；信号是消息的表现形式，消息是信号的具体内容；信号是信息的物理载体，消息是信号中携带的内容 2. 从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们各自包括的主要功能模块及其作用. 答案很多。 第二章作业题 1. 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的，则任一特定排列所给出的信息量是： ； (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： 2. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解： 男士： 女士： 3. 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量Y代表女孩子身高 Y y1（身高160cm） y2（身高160cm） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即： 求：身高160厘米以上的某女孩是大学生的信息量 即： 第6章 信道编码概述 习题答案 1．计算码长n=5的二元重复码的平均译码错误概率。假设无记忆二元对称信道错误传递概率为p。此码能检测出多少位错误？又能纠正多少位错误？如令p =0.01,平均译码错误概率是多大？ 解： 码长n=5的二元重复码是（00000，11111），码间最短距离为5， dmin=5=e+1 e=4 可以检测出小于等于4位以下的错误。 dmin=5=2×2+1=2t+1 t=2 可以纠正2位及2位以下的错误。 设有一个离散无记忆信道，其信道矩阵为 若信源概率分布为p(x1)=1/2，p(x2)=p(x3)=1/4，求最佳译码时的平均错误译码概率。 解： 极大似然译码规则译码时，由转移概率矩阵可知：第一列中，第二列中，第三列中为转移概率的最大值，所以平均错误