(信息论基础)第一章绪论.ppt

全概率公式 设Ω是随机试验E的样本空间,事件组 A1,A2,…,An满足： 则 对于任何一个事件B，有 P(B)=P(A1)P(B|A1)+…+P(An)P(B|An) 相关概率复习 贝叶斯(Bayes)公式 :设Ω是随机试验E的样本空间,事件组 A1,A2,…,An满足， 则 对于任何一个正概率事件B，有 相关概率复习 注意 1.以上两个公式中的A1,A2,...,An可以看作是导致事件B出现的因素; 2.P(Aj|B)一般称为 “后验概率”;Bayes公式又称为“后验概率公式”或“逆概公式”;P(Aj)对应可以称为“先验概率”. 相关概率复习 * * * * * * * * * * * * 比如,老师讲课需要把知 识进行加工和提炼,以提高信息传输的有效性,而为了让学生听得明白,有时又需要适当 地重复,这是为了提高信息传输的可靠性. * * 信息论基础Fundaments of Information Theory春季 2013 李富年 武汉科技大学信息科学与工程学院 lifunian@ 第一章 绪论 什么是信息？(信息的一般含义) 信息理论研究的基本模型 信息论的研究范围及本课程的内容 E-mail, Web browsing Shopping Location-based services Movies, Games, Music 为什么研究信息？ 信息无处不在 （Information anywhere ) 信息的表现形式(1) “信息”是作为通道的消息来理解的。 信宿 信道 信源 图 通信的简化模型 “信息”是人们在通信时所要告诉对方的某种内容。 “信息”是作为运算的内容而明确起来的。 美国数学家、控制论的主要奠基人维纳(Winner)在1950年出版的《控制论与社会》一书中认为“信息是人与外界相互作用的过程中所交换的内容的名称”。此时“信息”是人们进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形式。 信息的表现形式(2) 计算机 某种过程 输入信息 输出信息 补充信息 图 计算机的运算或控制机理 信息的表现形式(3) 工作学习情况 家人健康情况 同学 父母 例： 问题1：哪封信的信息量大？ 问题2：信息量究竟大多少？ 质量、能量和信息量是三个非常重要的量。 质量：秤，可称量 能量：热功当量，能量守恒定律 单位：焦耳 信息量： 关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如 何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被提上日程。 信息论发展 1948年 A Mathematical Theory of Communication(通信的数学理论) 标志着信息论的正式诞生。第一次提出了信息量的定义(信息熵)。并阐明了通信的基本问题，给出了通信系统的模型。技术上解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。 信息论发展 Claude Elwood Shannon 香农 “通信的基本问题是消息的接受端精确地或近似地复制发送端所挑选的消息” 什么是信息？ 形式化假说排除了语义信息和语用信息的因素，提供了用数学方法描述和度量信息的可能性。 形式化假说 非决定论 什么是信息？ 通信对象的一般特性 统计特性 数学工具 概率论与数理统计 “一切有通信意义的消息的发生都是随机的！” 不确定性 什么是信息？ 自己有某种形式的消息要告诉对方，而估计对方“不知道”该消息。 存在某种“疑问”，要询问对方，而且估计对方能做出一定的解释。 通信活动的机制和本质： 通信后，消除了或部分消除了通信前存在的不确定性。 信息(Information)就是用来消除不确定性的东西。 什么是信息？ 例： 中国女子乒乓球队获得奥运会冠军。 不确定性 可能性 概率 中国男子足球队获得世界杯赛冠军。 什么是信息？ 信息的大小由事件发生的概率所决定，出现的概率越大，信息量就越小；出现的概率越小，信息量就越大。 运用通信技术与数学方法（概率论、随机过程、数理统计）系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论： 阐明通信系统传递的对