信息论与编码理论基础(第一章)讲义.pptVIP

* * 信息论的研究内容 狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 * * 狭义信息论体系结构 Shannon信息论 压缩理论 有失真编码 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978) 率失真理论 Shannon Gallager Berger 压缩编码 JPEG MPEG 传输理论 信道编码定理 网络信息理论 纠错码 编码调制理论 网络最佳码 * * 信息论发展简史 电磁理论和电子学理论对通信理论技术发展起重要的促进作用 1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 量子力学使通信进入量子通信领域 * * 信息论发展简史 1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统 * * 信息论发展简史 1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法 * * 信息论发展简史 1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术，1999年LDPC编码技术。 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。 * * 三、Shannon信息的概念 （直观地认识Shannon信息和信息量，而暂时不使用定义） 第一个重要概念：信道上传送的是随机变量的值。这就是说： （1）我们在收到消息之前，并不知道将要收到的是什么消息。否则消息是没有必要发送的。 （2）我们在收到消息之前，知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。 * * 三、 Shannon信息的概念 第二个重要概念：事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊） 例 事件A=“中国足球队3：0力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件B=“中国足球队0：1负于韩国足球队” ，则事件B含有的信息量小。（大概率事件发生了，事件信息量小） * * 三、 Shannon信息的概念 第三个重要概念：消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性的大小） 例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信息量小。） 例 消息随机变量Y=“意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信息量大。） * * 三、 Shannon信息的概念 第四个重要概念：两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。 如果两个事件既不互相肯定，也不互相否定，它们