信息论课件第1讲 幻灯片.pptVIP

课程介绍 信息与计算科学\电子信息\专业院内限选课。 学时：48课时，学分数：3。 课程准备 教 材： 《信息论-基础理论及应用》 电子工业出版社 傅祖芸编 参考书： 《信息论与编码学习辅导及习题详解》 傅祖芸编 《信息论与编码》 中国科学技术大学出版社 姜丹编 作 业：1-2次/月 考 试：闭卷（内容：作业、笔记、课后习题等） 目 录 第一章、绪论 第二章、离散信源及其信息度量 第三章、离散信源无失真编码 第四章、离散信道及其信道容量 第五章、有噪信道编码 第六章、连续信源及连续信道 第一章、绪论 第一节、信息论起源和发展 第二节、信息的概念 第三节、信息论的研究内容和核心 第一节、信息论的起源及发展 1、起源 1924年，奈奎斯特（Nyquist）：信号带宽和信息速率间的关系。 1928年，哈特利（Hartley）：通讯系统传递信息的能力，并给出了信息度量的方法。 1948年，香农（Shannon）：通讯中的数学理论。并由此创立了信息论学科，因此称他为信息论的创始人。 香 农 简 介 1916-2001，信息论及数学通信时代的奠基人。美国科学院院士、工程院院士，英国皇家学会会员，美国哲学学会会员。 1936年获得密西根大学数学与电气工程学士学位。 1938年获MIT（麻省理工学院）电气工程硕士学位，《继电器语开关电路的符号分析》。 1940年获MIT数学博士学位，《理论遗传学的代数论》。 二战期间：著名的密码破译者，在BELL实验室，主要跟踪德国的飞机和火箭。 1948年发表《通信中的数学理论》。 第一节、信息论的起源及发展 第一节、信息论的起源及发展 ⑿、Berlekamp- Massey译码算法─分组码实用代数译码算法，1966, E. R. Berlecamp, 1969, J. L. Massey。 ⒀、 发现级连码，1966, G. D. Forney。 ⒁、 卷积码的Viterbi 译码算法，1967, A. J. Viterbi。 ⒂、 发现Goppa码和代数几何码，1970, V. C. Goppa。1982, M. A. Tsfasman, S. G. Vladut, and Th. Zink ⒃、 发现欧氏几何码，TCM, 1976, G. Ungerboeck；BCM, 1977, H. Imai and S. Hirakawa。 ⒄、 发现格码，1989，R.deBuda。格(lattice)码可趋近频带受限高斯信道容量。Loeligerz在1992年已证明，这是Zp上的欧氏空间群码。 ⒅、 发现Turbo码，迭代自适应译码算法，1993, C. Berrou and A. Glavieux。 (19) 、 LDPC码，近来又重新被发现。 第一节、信息论的起源及发展 Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 第二节、信息的概念 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 第二节、信息的概念 狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 第三节、信息论的研究内容和核心 1、研究内容：通信系统模型 通信系统模型进一步细分 第三节、信息论的研究内容和核心 2、研究核心 信息的传输与处理 * 信息论 主 讲：彭凯军（讲师） 学 院：合工大数学系 2009年10月 ⑴ 、信道编码定理，1948，C. E. Shannon。 ⑵ 、发现Hamming码，1950，H. W. Hamming。 ⑶ 、发现Golay码，1954，M. J. E. Golay。 ⑷ 、发现Reed-Muller码，1954，I. S. Reed and D. E.Muller。 ⑸ 、发现卷积码，1955,