2014_ITandCoding_第1章.ppt

课程名称：信息论与编码Information Theory and Coding 授课对象：四川师范大学2012级电子信息工程、通信工程专业 任课教师：周朝(zhao)荣， 办公室：物理实验大楼北311房间 电子邮件：zzr_chengdu@163.com 信息(理)论的重要性 信息论是信息科学和技术的基本理论，信息科学大厦的基石; 没有信息论的基础，从事通信与信息领域的研究与创新是不可能的; 信息论是高层次信息技术人才必不可少的基础知识。 信息论的研究对象：研究信息科学和信息技术的基本理论，即应用概率论、随机过程、数理统计和线性代数的方法，来研究信息传输、提取以及处理系统中一般规律的工程学科。 信息论的研究目的：提高信息系统的可靠性、有效性与安全性。 信息论有狭义信息论(Shannon信息论)、一般信息论、广义信息论之分，本书主要讨论狭义信息论。 课程概述 本课程将介绍信息科学的基础理论与基本方法，课程内容的讨论将基于通信系统的抽象模型展开，整个课程由基础理论和编码理论两部分组成，数学基础主要为概率论(与随机过程)。 具体内容包括：信息论的基本问题----信息的度量；无失真信源编码定理----香农第一定理；限失真信源编码定理----香农第三定理；信道编码定理----香农第二定理；多种实用的信源与信道编码技术；信息加密等等。 课程属性 专业基础课 先导课程 概率论(与随机过程)、信号与系统、线性代数等 学时数与学分 48学时/3学分 学习方法 本课程以概率论(与随机过程)为基础，有一定的数学推导，学习时需要把注意力集中到物理概念的理解上，不要过分追求细节的数学推导，一定不要把这门课程当作数学课程来学习。 学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。尤其是要注意理解各个概念的“用处”或者说“意义” 。 学而不思则罔，思而不学则殆。学习本课程提倡多做思考，尤其是要重视自主思考在学习中的能动性。 考核方式 1. 期末闭卷笔试 占总成绩的70-80% 2. 平时成绩(考勤、作业、期中) 占总成绩的20-30% 教材 《信息论与编码》（第二版），曹雪虹、张宗橙编著，清华大学出版社，2009 参考书： 1. 信息论与编码（第二版），陈运、周亮、陈新编著，电子工业出版社，2012 2. 信息论—基础理论与应用（第三版），傅祖芸编著，电子工业出版社，2013 3. Elements of Information Theory (2nd Edition)，T. M. Cover and J. A. Thomas，Wiley-Interscience (July 18, 2006)，最为流行的英文教材，为Stanford、MIT等学校的本科生、研究生课程选用，本科生选讲部分章节，涵盖内容广 4. Information Theory and Reliable Communication， R.G. Gallager, Wiley (January 1, 1968)，数学推导较为详尽，分析讨论比较深入。 第1章 绪论 1.1 信息的概念 1.2 信息论的形成与发展 1.3 通信系统的模型 1.1 信息的概念 一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。” 信息是非常重要的：从远古到现代，人们在各种生产、科学研究和社会活动中，无处不涉及到信息的交换和利用。尤其在今天的“信息时代”，迅速获取信息、正确处理信息、充分利用信息，就能够促进科学技术以及国民经济的发展。 “信息”是信息论中最基本、最重要的概念，既抽象又复杂。由于对信息的本质认识还不够深入，目前，还没有对于信息的统一定义，还缺乏完整、明确、为世人所普遍公认的信息概念。 日常生活中，信息常常被认为就是“知识”、“情报”、 “消息”等等，尽管信息与它们的关系密切，但信息的含义要深刻、广泛得多。 信息不等同于知识。知识是人们根据某种目的，从自然界收集而来的数据中，整理、概括、提取得到有价值的、并为人们所需的信息。即知识是一种具有普遍性和概括性的高层次的信息。 信息不等同于情报。情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。情报仅仅是一类特定的信息，主要用于有一些特殊的领域，比如：军事领域、图书/情报专业 信息不等同于消息。用文字、符号、语言、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为了消息。传送消息也就传递了信息，消息是信息的载体。 关于信息的科学定义，众说纷纭，不同的定义有上百种，分别是从不同的侧面与不同的层次来揭示信息的本质： 1923年，哈特莱(Hartley)在论文《信息传输》中认为：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式，