信息论与编码技术+(冯桂+林其伟+陈东华+著)+清华大学出版社+课后答案.pdf

Chap1 思考题与习题 参考答案 1.1 信息论与编码技术研究的主要内容是什么？ 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取 和处理系统中一般学科。编码技术研究的主要内容是如何既可靠又有效地传输信息。 1.2 简述信息理论与编码技术的发展简史。 1948年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。在这两篇论文中， 他用概率论测度和数理统计的方法系统地讨论了通信的基本问题，得出了及格重要而带有普遍意义的结 论，并由此奠定了现代信息论的基础。 从 1948 年开始，信息论的出现引起了一些有名的数学家如柯尔洛夫、A.Feinstein、J.Wolfowitz 等 人的兴趣，他们将香农已得到的数学结论做了进一步的严格论证和推广，使这一理论具有更为坚实的数 学基础。 在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并 形成一门独立的分支——纠错码理论。 1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源 编码定理。从此，发展成为信息率失真编码理论。 香农 1961年的论文“双路通信信道”开拓了网络信息论的研究。 现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地 渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。 1.3 简述信息与消息、信号的定义以及三者之间的关系。 信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。 用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来成为消息。 把消息变换成适合信道传输的物理量，这种物理量称为信号。 它们之间的关系是：消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。 1.4 简述一个通信系统包括的各主要功能模块及其作用。 通信系统主要分成下列五个部分： （1）信息源。 信源是产生消息和消息序列的源。 （2）编码器。 编码是把消息变换成信号的措施。 （3）信道。信道是指通信系统把载荷消息的信号从甲地传到乙地的媒介。 （4）译码器。译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。 （5）信宿。 信宿是消息传送的对象，即接收消息的人或机器。 1.5 你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？ 略。 1.6 什么是事物的不确定性？不确定性如何与信息的测度发生关系？ 由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。所以在通信以前，收信 者存在“疑义”和“不知”，即不确定性。 用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随 机事件的数学工具——概率论和随机过程来测度不确定性的大小。 1.7 试从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们的信源、信道结构，写出 它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。 略。 1.8 在你日常生活中出现过哪些编码问题？能否用编码函数给以描述？ 略。 Chap2 思考题与习题 参考答案 2.1 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“两骰子面朝上点数之和为 8”或“两 骰子面朝上点数是 3和 4”时，试问这三种情况分别获得多少信息量？ 解：同时扔一对均匀的骰子，可能呈现的状态数有 36种，各面呈现的概率为 1/6，所以 36种中任何一 种状态出现的概率都是相等，为 1/36。 （1）设 “两骰子面朝上点数之和为 2”为事件 A。在 36 种情况中，只有一种情况，即 1+1。则 2 ( ) 1/ 36 ( ) log ( ) log 36 5.17( P A I A P A = = − = ≈ 比特) （2）设 “两骰子面朝上点数之和为 8”为事件 B。在 36种情况中，有六种情况，即 5+3，3+5，2+6， 6+2，4+4。 则 2 ( ) 5 / 36 36( ) log ( ) log 2.85( 5 P B I B P B = = − = ≈ 比特) （3）设 “两骰子面朝上点数是 3和 4”为事件 C。在 36种情况中，有两种情况，即 3+4和 4+3。 则 2 ( ) 2 / 36 ( ) log ( ) log 18 4.17( P C I C P C = = − = ≈ 比特) 2.2 同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，求： (1) 事件“3和 5同时出现”的自信息量；