信息论信息理论与应用1.pptVIP

课程说明 课程说明 本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。 本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 第一节 信息的概念 组成客观世界的三大基本要素：物质、能量和信息，材料科学、信息科学、和信息科学一起被称为当代文明的“三大支柱”。 Without materials, there is nothing. Without energy, nothing happens. Without information, nothing makes sense 没有物质的世界是虚无的世界； 没有能源的世界是死寂的世界； 没有信息的世界是混乱的世界。 不同学科内关于信息的论断 传播学家呼吁：公平地信息获取才是信息对称的基本保障；通讯工程师说：当受信者对一个事件出现的先验概率估计越小时，他获得的信息量就越大；计算机科学家则说：微处理器时钟频率的大小，决定着它处理信息的速度高低；生物学家则高呼：脱氧核糖核酸上的信息是控制子代和亲代相象的唯一源泉。 …… 表达了不同的信息问题研究者对不同领域里信息问题的见解。他们用各自学科的语言阐述了自己的看法，而且都深刻地洞察了他们自己所关怀的信息对象的本质。 信息是什么？ 信息就是信息，既不是物质也不是能量 传统科学的基本概念是物质与能量，信息科学的基本概念是信息。信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。对信息的认识越透彻，对信息的利用就会越充分、越合理；对信息的概念把握得越深刻，信息科学本身的根基就越牢固、越扎实。 信息定义 信息是选择的自由度。-哈特莱 信息是事物之间的差异。 信息是集合的变异度。 信息是事物联系的普遍形式。 信息是收信者事先所不知道的报导。 信息是用以消除随机不定性的东西。 信息定义 信息是使概率分布发生变动的东西。 信息是人与外界相互作用的过程中所交换的内容的名称。--维纳 信息是通信传输的内容。 信息定义 信息就是消息。 信息就是信号。 信息就是数据。 信息就是情报。 信息就是知识。 …… 信息定义的概念 “信息”(Information)和“消息”(Message)——消息是信息的外壳，信息则是消息的内核。 据《新辞源》考证，一千多年前我国唐代诗人李中就曾经有“梦断美人沉信息，目穿长路倚楼台”的诗句，其中“信息”一词就是音信、消息的意思。同样，在西方出版的许多文献著作中，“信息”(Information)和“消息”(Message)两词也是互相通用的。 “信息就是信号”（电信技术）——信号只是信息的载体，信息是信号所载荷的内容。 “信息就是数据”（计算机技术）——数据，它只是记录信息的一种形式，而且不是唯一的形式，不能把它等同于信息本身。 情报只是一类专门的信息，是信息的一个子集。 信息定义的概念 1928年，哈特莱在《贝尔系统技术杂志》上发表了一篇题为“信息传输”的论文。在这篇论文中，他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。 例如，假定符号表是26个英文字母及标点符号，那么用符号“I am well”传达了一种信息，而用符号“I am sick”传达了另一种信息。 如果发信者只能从由0和1两个符号组成的符号表中选择符号而且长度限定为1，则发信者只有两种选择，即0和1，这时传达的信息量很小；如果放宽限制，如长度不超过n（n1）则发信者可以选择的符号串有 个，n越大能传达的信息量就越大。 哈特莱信息定义的局限性 哈特莱的这种理解能够在一定程度上解释通信工程中的一些信息问题，但是它也存在着一些严重时局限性：首先，他所定义的信息不涉及内容和价值，只考虑选择的方式，其次，也没有考虑到信源的统计性质；第三，把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。这些缺点使它的运用范围受到很大的限制。 信息定义的概念 美国数学家香农在《贝尔系统技术杂志 》发表了一篇长文，题为“通信的数学理论”（1948）。这篇论文以概率论为工具，深刻阐述了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表征信息传递重要关系的编码定理。香农在进行信息的定量计算的时候明确地把信息量定义为随机