信息论chap分析报告.pptVIP

信息与编码理论 主讲：冯 磊 fenglei@mail.xidian.edu.cn 课程介绍 课程最早开设于上世纪五十年代，当时一些教师与学生一起阅读MIT英文版教材，在相互学习相互讨论的气氛中，信息论专业诞生了。 是一门理论性较强的课程，主要的数学工具是概率论。 课程的内容包括：信息论的基本概念、信源编码和信道编码几个主要方面，对每一方面作了进一步的扩展。 教材与参考书目 [1] 王育民、梁传甲编著 《信息与编码理论》，西北电讯工程学院出版社，1986 [2] 王新梅 肖国镇编著，《纠错码——原理与方法》. 西安电子科技大学出版社 [3] 吴伟陵编著 《信息处理与编码》，人民邮电出版社，1999 [4] 姜丹等编著 《信息理论与编码》，中国科学技术大学出版社，1992 [5] 周炯槃著 《信息论基础》，人民邮电出版社，1983 [6] [美]林舒、科斯特洛著，王育民、王新梅译，《差错控制编码、基础与应用》， 人民邮电出版社 [7] 王新梅编著，《纠错码与差错控制》，人民邮电出版社 课程内容和学时分配 1、 引论：通信系统模型、Shannon信息论的中心问题（2学时）。 2、 信息量和熵：离散随机变量的熵、平均互信息，连续随机变量的互信息和相对熵、互信息和相对熵，互信息的凸性（10学时）。 3、 离散信源无失真编码：离散无记忆源的等长编码与不等长编码，Huffman编码，算术编码，LZ编码（10学时）。 4、 信道容量：离散无记忆信道、组合信道、时间离散无记忆、连续信道、波形信道（10学时）。 5、 离散信道编码定理（2学时）。 6、 信道编码：线性分组码（8学时）。 7、信源编码——无记忆信源的有失真编码：（4学时）。 第一章 引论 第一章 引论 1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性 § 1.1 通信系统模型 1.信息论发展简史 起源：香农于1948年开始提出了信息熵的数学表示，开始了信息论的研究 。 在中国：五十年代，现代信息论介绍传入到中国。随着发展，目前国内各高校的通信、雷达、计算机、应用数学等专业基本上都开设了信息论的课程。 进步：目前信息论已经由两端单向通信的经典理论向多用户信息论方向发展。在研究 发展的同时开枝散叶，衍生除了诸如纠错码、密码等诸多学科。 1.信息论发展简史 1 通信是什么？ 2 通信的演化 1.信息论发展简史 电磁理论和电子学理论对通信理论技术发展起重要的促进作用 1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 1.信息论发展简史 1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统 1.信息论发展简史 1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法 1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法 1.信息论发展简史 1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。 2.信息论的研究对象 由于山农的论文，信息论也可称为“通信的数学理论” 是一门研究信息的传输、存储和处理的科学。其主要研 究通信系统中如何实现有效性和可靠性。 3.通信系统模型 通信的基本问题是什么？ 3.通信系统模型 通信系统模型进一步细分 各部件功能 信源 产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。 研究的主要问题是消息的统计特性和产生信息的速率 编码器 是将信