信息论第1章绪论1.pptVIP

信息论与编码理论 重庆交通大学信息科学与工程学院 通信工程系 李益才 电子邮件:liyicai205@yahoo.cn 电 话 2012年8月 课程类型：专业必修课 学 时：40 参考教材： ① 《信息论与编码》,徐家品,高等教育出版社 ② 《信息论基础教程》，李梅，李亦农，北京邮电大学出版社 ③《信息论与编码》,陈 运,电子工业出版社 ④《信息论—基础理论与应用》,傅祖芸,电子工业出版社 ⑤《纠错码—原理与方法》,王新梅,西安电子科技大学出版社 考 核：平时成绩10％（作业、考勤） 实验20% 期末考试70％（闭卷） 答 疑：通信实验室(60103) 上机时间：第9、10周星期一、四9-12节 联系方式机题目（使用matlab编写程序） Huffman编译码 要求：自己设计一段信源序列，利用Huffman编码对其进行编码，然后利用相应的译方法进行译码，同时考察译码错误对后续序列带来的影响。 线性分组码编译码实验 设计（15，11）或（255，247）线性分组码，利用随机生成的二进制序列及BPSK调制方式，比较使用信道编码与未使用信道编码的误比特率曲线 循环码编码译码实验 设计（7，4）或（15，11）循环码，利用随机生成的二进制序列及BPSK调制方式，比较使用信道编码与未使用信道编码的误比特率曲线 卷积码编译码实验 设计（2，1，2）或（3，2，1）卷积码，利用随机生成的二进制序列及BPSK调制方式，比较使用信道编码与未使用信道编码的误比特率曲线，并与上述的（7，4）循环码比较性能。 第一章 绪论 1.1 信息的概念 1.2 信息论研究的对象、目的和内容 1.1 信息的概念 信息论是通信技术、概率论、随机过程、数理统计相结合并逐步发展而形成的一门新兴学科。 奠基人：C.E. Shannon于1948年发表“A Mathematical Theory of Communication”，在这篇文章中香农创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。 1.1 信息的概念 什么是信息？ 信息是信息论中最基本、最重要的概念，既抽象又复杂；信息在日常生活中被认为是“消息”、“知识”、“情报”等 。 “信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质； “信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息； “信息”不同于信号，信号是承载消息的物理量； “信息”不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。 1.1 信息的概念 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 离散(数字)消息：一组未知量，可用随机序列来描述：X=(X1…Xi…Xn) 连续(模拟)消息：未知量，它可用随机过程来描述：X( t, ω) 1.1 信息的概念 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。 关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。 1.1 信息的概念 1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。其对信息的度量：一个消息所含有的信息量用它所有可能的取值个数的对数来表示。 局限性 定义不涉及到信息的价值和具体内容，只考虑选择的方式。 即使考虑选择的方法，但没有考虑各种可能选择方法的统计特性。 1.1 信息的概念 1948年，维纳(N．Wiener) 在《控制论--动物和机器中通信与控制问题》一书中，指出：“信息是信息，不是物质，也不是能量”。将“信息”上升到“最基本概念”的位置。 后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。” 局限性 把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。 1.1 信息的概念