第一章_信息论基础2015说课.pptVIP

信息论-基础理论与应用;课程计划;教学计划;课程—重视、努力;课程考核标准;作业和考勤的说明;作业和考勤的说明;教学内容掌握要求;其他约定;信息论对现代社会有哪些影响?;信息论对现代社会有哪些影响?;信息论对现代社会的影响;信息论对现代社会的影响; 当代文明的三大支柱 信息科学、材料科学和能源科学一起被称为当代文明的“三大支柱”。是科学历史上三个最重要的基本概念。 没有物质的世界是虚无的世界； 没有能源的世界是死寂的世界； 没有信息的世界是混乱的世界； ;信息论对现代社会的影响;信息论对现代社会的影响;信息论对现代社会的影响;什么是信息论？;什么是信息科学？; 第1章 绪论 ;1.1 信息的概念;1.1 信息的概念;1.1 信息的概念;1.1 信息的概念;信息的概念之一——通俗概念 信息常常被认为是 “消息” 、??信 号”、 “知识”、“情报”等。 这些概念并不准确。;如“对敌方情况的报告” “对于最新情况的报道”等称为情报。 情报学中定义： 情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。 情报是一类特定的信息，不是信息的全体。;知识是人们从自然界收集得来的数据中，整理、概括、提取得到有价值的、人们所需的信息。 如公式 E=mc2 c2=a2+b2 知识只是人类社会中客观存在的部分信息 ;把客观物质运动和主观思维活动的状态表达出来就成为消息。 例如获得同学结婚消息。 例如获得炒股消息。 消息的形式： 文字、符号、数据、语言、音符、图片、活动图像等 消息中包含信息，消息是信息的载体。 得到了消息，就获得了信息。 ;平时见到的信号有哪些？ (如电信号，光倍号，声信号，生物信号等等)。 把消息变换成适合信道传输的物理量，这种物理量称为信号 信号携带着消息，它是消息的运载工具。 例拍电报 一般，需先将汉字变换为莫尔斯码，再转换成脉冲电信号，然后经过调制变成高频调制电信号，才能在信道中传输。;信息的主要特征; “信息”是当代使用频率很高的一个概念，也是 很难说清楚的一个概念。 据不完全统计，信息的定义有100多种，它们 都从不同的侧面、不同的层次揭示了信息的某些 特征和性质，但至今仍没有统一的、能为各界普 遍认同的定义。;信息是由物质和能量在时间和空间上的不均匀分布产生的。 信息是可以用文字、符号、数据、语言、音符、图片、图像等人类可感知的消息来表达的。 信息是无形的、可共享的、无限的、可度量的。 信息是事物运动状态或存在方式的不确定性的描述。 信息是与物质和能量一样重要的基本概念。;信息：是事物运动状态或存在方式的不确定性的描述。 什么是不确定性？ 举例：电报“母病愈” 袋子里摸球 A：10红，10白；B：10红，20白;收到电报，消除了不确定性。 消除多少不确定性，就获得多少信息量。 不确定性就是随机性，具有不确定性的事件就是随机事件。 随机事件可以计算事件发生的概率 因此不确定性是可以度量的，于是信息是可以度量的。 天气预报广东下雪 ;概率理论引用到信息论;随机事件的自信息量定义为该事件发生概率的对数的负值。 事件 的概率为 ，则它的自信息定义为： 代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事 件发生以后，表示事件所含有或所能提 供的信息量。;(5) 互信息 ;;例题（2）;设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概率为 设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为 事件a,b的不确定性为 要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件．所以所需获得的信息量 ; 而在天平上称一次能判断出三钟情况：重、轻和相等。这三种情况是等概率的 所以，天平测一次能获得的信息量(即消除的不确定性)为 则至少必须称的次数为 ;1.2.1 信息论研究的目的;1.2.2 信息论研究的内容;1.3 信息论的发展历史; 1952年，费诺提出了费诺码 1952年，霍夫曼提出了霍夫曼编码方法， 并证 明了它是最佳码。 1968年，埃利斯提出了算术编码。