信息论与编码复习总结精选.pdfVIP

信息论与编码理论复习资料 By 疯狂阿德 第一章 绪论 考点：  信息、消息、信号的区别  通信系统模型  香农 1. 信息、消息、信号的区别 信息：指事物运动的状态或存在方式的不确定性的描述。 消息：包含信息的语言、文字、图像等。 信号：信息的物理体现。 在通信系统中，实际传输的是信号，但实质内容是信息，信息包含在信号中，信号是信息 的载体，通信的结果是消除或部分消除不确定性，从而获得信息。 2. 通信系统模型 通信系统模型 信源：信息输出的源。分离散信源和模拟信源。 信宿：信息归宿之意，意即收信者或用户，是信息传送的终点或目的地。 信道：传送信息的物理媒介。 密钥源：产生密钥k 的源。信号x 经过k 的加密运算后，就把明文x 变换为密文y 。 一般地说，通信系统的性能指标主要是有效性、可靠性、安全性和经济性。除了经济性外， 这些指标正是信息论的研究对象。 信源编码：信源编码器的作用：一、将信源发出的信息变换成基带信号；二、压缩冗余度， 提高效率（有效性）。 信道编码：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错和纠 错能力。信道译码器具有检错和纠错能力，它能将在其检错或纠错能力范围内的错传码元 检测出来并加以纠正，以提高传输信息的可靠性。信道编码包括调制解调和纠错检错编译 码。信道中的干扰通常使通信质量下降，对于模拟信号，表现在受到的信号的信噪比下降； 对于数字信号就是误码率增大。信道编码的主要方法是增大码率或频带，即增大所需的信 道容量。这恰与信源编码相反。 3. 香农 他在 1941 年至 1944 年对通信和密码进行深入研究，并用概率论的方法研究通信系统， 揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概 念。还指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息，而实现这一目标 的主要方法是编码等。这一成果于 1948 年在 《贝尔系统技术杂志》以 《通信的数学理论》 为题公开发表，次年，他又在同一杂志上发表了 《噪声下的通信》香农因此成为信息论的 奠基人。 简答题： 一、信源编码与信道编码的区别 答：信源编码是压缩信源发出的信息的冗余度，是为了提高信息传输的有效性；而信 道编码是在信源编码器输出的代码组上有目的地增加了一些监督码元，增大了信息的 冗余度，以提高传输信息的可靠性。 二、能否将三种码（信源编码、信道编码、密码）合成一种码进行编译？ 答：提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原 来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降； 反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有 类似情况 编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法 获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。 从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全， 可使编译码器更理想化，在经济上可能也更优越。 这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要 取得有用的结果，还是相当困难。 第二章 信源与信息熵 考点：  自信息 概率空间 X  x x  x    1 2 n     P p (x ) p (x )  p (x )   