信息论与编码第一章信息论基础新.pptVIP

第一章 绪论 提纲 信息的概念 信息论的研究思路、目的和内容 概率回顾 1.1 信息的概念 世人谈及信息，远非今日起。 据《新辞海》考证，一千多年前唐代诗人李中《暮春怀故人》中有“梦断美人沉信息，日空长路倚楼台”的诗句，这恐怕是最早关于信息的文字记载。 人们与信息打交道的历史与自身一样悠久，人类从诞生起，一直与信息打交道。 利用指南针获取方向信息； 利用烽火告警加快信息传输的速度； 利用文字、纸张和印刷术实现信息的存贮； 利用望远镜、显微镜扩展信息感受器官； 利用算盘、计算机增强信息处理能力 当今人们生活在信息的海洋中，“信息”一词人人皆知。但它的含义到底是指什么？ 如果将信息作为一个相对广义的概念，大致可从三个方面来理解。 “信息”作为通信的消息来理解 “信息”是作为运算的内容而明确起来的 “信息”是作为人类感知的来源而存在的 （1）“信息”作为通信的消息来理解 在此意义下，信息可理解为人们在交流与通信时所要告诉对方的某种内容，如消息、情报、知识等。 朋友的信件与电话、 电台的天气预报、 球赛的电视转播等等， 都是交流和通信的一方要告诉另一方的消息。日常生活中人们常称之为“信息”。 如何理解信息和消息呢？ 信息与消息的区别与联系 以文字、语声、图象等载体把客观物质运动和主观思维活动的状态表达出来就成为消息， 消息是表达信息的工具 从通信的观点出发，构成消息的各种物理现象具有两个条件： 一是能为通信双方所理解 二是可以传递。 这种任意两点间的通信，或消息在其间的流通情况，归纳为以下最简模型。 （2）“信息”是作为运算的内容而明确起来 在此意义下，“信息”是进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形式。例如： 价目表反映商品价值信息； 车速表反映行驶速度信息， 万用表， 示波器等。 信息的处理离不开计算机，与计算机科学与技术密切相关。 （3）“信息”是作为人类感知的来源而存在 人类不断地从外部世界取得有用的信息，加以分析、归纳和处理，得到对其规律性的认识，从而改造世界。 信息是人类自身进化的一个基本条件，通过信息器官从自然界取得信息并利用它来强化自己，战胜自然。 生物如不能从外部感知信息，就不可能适当地调整自己的状态，改善与外部世界的关系来适应这种变化，不能避免被淘汰的厄运。 从外界摄取信息和利用信息的能力是一切生物得以生存的必要条件，生物越高级，摄取和利用信息的本领越高超。 小结 信息与人类的关系密切 作为通信的消息，我们通过书信、电话、电报、电视、音乐等与之接触，与人交往。 作为运算和处理对象的信息，我们也也极其频繁地同它打交道，观察大量的事物，接收和处理大量的数据。 作为感知来源的信息，更是人人与之形影不离，感觉器官无时无刻不在感受信息，大脑不停地思维着。 人类在信息的海洋中生存和发展，信息渗透在人类活动的一切环节之中。 如何定义信息呢？ 信息的定义 这里列举几个具有代表性文献对信息的注释。 《辞海》：“信息是指对消息接受者来说预先不知道的报道”； 美国《韦伯词典》：“用来通信的事实，在观察中得到的数据、新闻和知识”； 英国《牛津字典》：“谈论的事情、新闻和知识”； 日本《广辞苑》：“所观察事物的知识”。 应该说这些注释还没有完全揭示信息的本质。 信息论与控制论的创始人之一，美国已故著名数学家诺伯特·维纳说： “信息就是我们在适应外部世界和控制外部世界的过程中，同外部世界进行交换的内容的名称” “信息就是信息，既不是物质，也不是能量”，即所述的内容指的是人类从外部世界所摄取的另一类内容，这就是关于事物运动变化着的状态及其规律， “信息是关于事物运动千差万别的状态和规律的知识”。 1948年，美国数学家、信息论的创始人香农在题为“通讯的数学理论”的论文中指出： 信息是事物运动状态或存在方式的不确定性的描述。 信息如何测度呢？如何知道获得的信息量的多少呢？ 由香农的定义可知：信息量与不确定消除的程度有关，消除了多少不确定性，就获得了多少信息。 不确定性的大小如何度量呢？ 不确定性－》随机性－》概率论 例1：天气预报 10月份，北京天气， 经常出现的天气：晴间多云、晴、多云 其次：多云转阴、阴、阴有小雨 最后：小雪、大雪的概率很低 听天气预报前，我们可以大概猜出天气的情况：晴间多云、晴、多云 如果预报讲是：晴间多云、晴、多云，与我们的猜测一致，所消除的不确定性小，获得的信息量也小 如果预报讲是：小雪。与我们的猜测差距很大，所消除的不确定性大，我们获得的信息量大 例2：假设甲、乙两个布袋各装有完全相同的球100个，甲袋内红、白球各50个，乙袋内红、白、蓝、黑各25个。 现随意从甲袋中摸出一球，是红球的概率为：1/2 现随意从乙袋中摸出一球，是红球的概率为：1/4 那么，“