第1章 信息论预编码绪论new.pptVIP

* 在第二次世界大战期间，维纳接受了一项与火力控制有关的研究工作。这问题促使他深入探索了用机器来模拟人脑的计算功能，建立预测理论并应用于防空火力控制系统的预测装置。 * * 第1章 概论（简介） 主要内容： 1.1 信息的基本概念 1.2 通信系统模型 1.3 信息论的起源、发展 1.4 研究内容 * * 1948年以前信息论的发展 Telegraph (Morse, 1830’s); Telephone (Bell, 1876); Wireless Telegraph (Marconi, 1887); AM Radio (early 1900’s) Single -Sideband Modulation (Carson,1922); 1924年 H.Nyquist：信号带宽与信息速率的关系。指出如果以一定的速率来传输信号，则需要一定的带宽，将信息率和带宽联系起来了。 Television (1925 - 1927); 1928年，R.V.Hartley：提出用对数度量信息。 Teletype (1931); Frequency Modulation (Armstrong, 1936)：增大带宽，可以提高抗干扰能力。基于此思想，提出宽频移调制。 Pulse-Code Modulation (PCM) (Reeves, 1937-1939); Vocoder (Dudley, 1939)：广泛应用于广播、电视。提出了通信带宽=传送的消息带宽 Spread Spectrum (1940’s). * * 控制论之父——维纳 N.Winner（维纳） 20世纪30年代“广义谐波分析理论”，首次对信息系统中的随机过程进行谱分析。 20世纪40年代：将随机过程和数理统计的观点引入通信和控制领域，揭示信息传输和处理过程的统计本质。 20世纪50年代：提出干扰作用下的最佳滤波定理。 * * 信息论鼻祖——香农 Shannon 1948年 “通信的数学理论”（ “A mathematical theory of communication”）文章的发表，标志着信息论的正式诞生。 指明通信的实质：“The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.” 提出无失真信源编码定理，给出了简单的编码方法（香农编码） * * 无失真信源编码的发展 1956年，麦可米伦（B.Mcmillan）首先证明了唯一可译变长码的克拉夫特（Craft）不等式。 1952年，费诺（Fano）提出了一种费诺码。 1952年，哈夫曼（D.A.Huffman）首先构造了一种哈夫曼编码方法，并证明为最佳码。 1977年，通用信源编码算法-LZ码由齐弗(J.Ziv)和兰佩尔（A.Lempel）提出. 1978年，他们又提出了改进算法，并证明此方法可以达到信源的熵值。 1990年，贝尔（Bell）又对LZ算法进行了一系列的变化和改进。 目前，LZ广泛应用于文本的数据压缩。 语音编码标准: MP3, MP4 图象编码标准: MPEG4 * * 信道编码理论的发展 60年代起，信道编码技术有了长足发展。 1950年，出现了汉明码（Hamming Code）和循环码（Cyclic Code），把代数方法引入纠错码的研究，形成了代数编码理论。 但代数编码的渐进性较差，无法实现香农信道编码定理所指出的结果。 1960年左右，提出了卷积码（Convolution Code）的概率译码。形成一系列概率译码理论。 几十年来，相继出现很多编码算法，性能与香农限相差甚远，以致人们认为香农限是不可能达到的。 1993年，法国学者C.Berrou等人提出了Turbo码的并行级联卷积码，其性能与香农限非常接近(误码率达10-5)，且复杂度较低可以实现，为信道编码领域带来一场革命。 * * 限失真信源编码定理的发展 限失真信源编码的研究较信道编码和无失真信源编码晚了近十年。香农在1948年的论文中已体现了率失真函数的思想。 1959年，香农发表了“保真度准则下的离散信源编码定理”（“Coding theorems for a discrete source with a fidelity criterion”），首先提出了率失真函数和率失真信源编码定理。从此，发展成为信息率失真编码理论。 1971年，伯格尔（T.Beger）给出了更一般信源的率失真编码定理。 率失真信源编码定理是信源编码的核心问题，是频带压缩、数据压缩（信源