信息论-第一章 绪论.pptVIP

* * * 信息论与编码 主讲：苗立刚 基础楼319 计算机与通信工程学院 2016年3月 课程目标与安排 它是信息处理方向的一门重要的专业基础课，是后续课程的基础，如通讯原理、数字图像处理、语音信号处理等。 介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程分为基础理论和编码理论两部分组成。 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。 注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习。 课程特点 学 时：32 考试方式：开卷 考试成绩：平时成绩*20% + 考试成绩*80% 课程目标与安排 第一章 绪论 第二章 信源熵 第三章 信道容量 第四章 信息率失真函数 第五章 信源编码 第六章 信道编码 第七章 密码体制的安全性测度 课程内容安排 课程目标与安排 课程目标与安排 参考书 曲炜，朱诗兵，信息论基础及应用，清华大学出版社，2005 信息论与编码，陈运、周亮、陈新，电子工业出版社，2007 傅祖芸，信息论与编码，电子工业出版社，2004 周荫清，信息论基础(第3版)，北京航空航天大学出版社，2006 有关的课程 高等数学，概率论，线性代数 第一章 绪论 信息论基础 主讲：苗立刚 基础楼318 计算机与通信工程学院 2014年3月 第一章 绪论 信息的有关概念 通讯系统模型 信息论的形成和发展历史 本章主要讨论的问题： 信息的有关概念 “信息”是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念，目前还没有一个统一的定义(百余种)； “信息”不同于消息 在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义； 所谓消息，是用文字、符号、数据、语言、图片、图像等形式，把客观事物运动和主观思维活动的状态表达出来； 消息是信息的载体；消息是表现形式，信息是实质。 “信息”不同于情报 情报往往是军事学、文献学方面的习惯用词，它的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息； “情报”是人们对于某个特定对象所见、所闻、所理解产生的知识； “信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息； 知识是信息，但不等于信息的全体； “信息”不同于信号 把消息变换成适合信道传输的物理量，就是信号；信号是承载消息的物理量； 信息的有关概念 信息的有关概念 信息的几种定义 以信源为主的信息定义、以信道为主的信息定义和以信宿为主的信息定义。 以信源为主的信息定义有： 1)信息是事物之间的差异(Longo,1975) 2)信息是有序性的度量(Wiener,1948) 以信道为主的信息定义有： 1)信息是通信传输的内容(Wiener,1950) 2)信息是人与外界相互作用的过程中所交换的内容的名称(Wiener,1948) 以信宿为主的信息定义有： 1)信息是用来消除随机不定性的东西 (Shannon,1948） 2)信息是使概率分布发生变动的东西 （Tribes etal, 1971） 仙农从研究通信系统传输的实质出发，对信息做出了科学的定义； 仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。 信息的有关概念 信息的度量 信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小； 由以上两点可知：概率小? 信息量大，即信息量是概率的单调递减函数； 此外，信息量应该具有可加性； 信息的度量 由于信息量与概率成反比，并且具有可加性，可以证明，信息量的计算式为 其中pk是事件xk发生的概率，这也是仙农关于(自)信息量的度量(概率信息)，单位为bit 哈特莱早在20世纪20年代就提出用对数作为信息量的测度。哈特莱认为：消息和信息不同，多种多样、千姿百态的消息是信息的载体，消息究竟包