信息论编码(考试).doc

信息论编码考试题 1.设某二元码为C={00011,10110,01101,11000} (1)计算此码的最小距离dmin ; (2)采用最小距离译码准则，接收到序列01100,00100应译成什么码字？ （3）此码能纠正几位码元的错误？ 2.由符号集{0，1}组成的二阶马氏链，转移概率为： p(0/00)=0.7,p(0/11)=0.8,p(1/00)=0.3,p(1/11)=0.2, p(0/01)=0.6,p(0/10)=0.5,p(1/01)=0.4,p(1/10)=0.5. 画出状态转移图，并计算出各状态的稳态概率。 3.已知信源的数学模型 对该信源编二进制哈夫曼码，用图表表示编码过程，并求该霍夫曼码的平均码长和编码效率。 4.已知信道矩阵P(Y/X) =； (1)该信道为什么信道？ (2)求该信道的信道容量C，并说明达到信道容量时信源的概率分布P(X)。 5.如果你在已知今天是星期四的情况下问你的朋友“明天是星期几?”,则答案中你能获得多少信息量？（假设已知星期一至星期日的排序） 判断码 {01，111，011，00，010，110}是否是及时码？说明原因。 附加题： 1.证明：平均互信息量同信息熵之间满足：I(X;Y)=H(X)+H(Y)-H(XY) 证明： 同理 则 因为 故 即 2.由符号集合{0，1}组成的二阶马氏链，转移概率为：p(0/00)=0.8，p(0/11)=0.7，p(1/00)=0.2，p(1/11)=0.3，p(0/01)=0.5，p(0/10)=0.4，p(1/01)=0.5，p(1/10)=0.6。画出状态图，并计算各状态的稳态概率。 解：由已知条件可知题目的状态转移高率矩阵如下： （3分）状态转移图为（3分） 由状态转移概率矩阵知道，设各状态为S1 、S2 、S3 、S4 ，可知各状态之间满足关系： (4分) 3.信源空间为，试分别构造二元霍夫曼码，计算其平均码长和编码效率。 平均码长： 编码效率： 4.如果你在不知道今天是星期几的情况下问你的朋友“明天星期几”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题则答案中你能获得多少信息量？(假设已知星期一至星期日的顺序) 解:如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的均为P=1/7 因此此时从答案中获得的信息量为:I=log7=2.807比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0比特。