第一章绪论_信息论基础2015详解.pptVIP

信息是由物质和能量在时间和空间上的不均匀分布产生的。 信息是可以用文字、符号、数据、语言、音符、图片、图像等人类可感知的消息来表达的。 信息是无形的、可共享的、无限的、可度量的。 信息是事物运动状态或存在方式的不确定性的描述。 信息是与物质和能量一样重要的基本概念。 信息的定义 了解 信息：是事物运动状态或存在方式的不确定性的描述。 什么是不确定性？ 举例：电报“母病愈” 袋子里摸球 A：10红，10白；B：10红，20白 3. 香农信息的定义 理解 收到电报，消除了不确定性。 消除多少不确定性，就获得多少信息量。 不确定性就是随机性，具有不确定性的事件就是随机事件。 随机事件可以计算事件发生的概率 因此不确定性是可以度量的，于是信息是可以度量的。 天气预报广东下雪 4 香农信息的度量 理解 概率理论引用到信息论 (1) 样本空间 每一个消息是一个元素 (2) 概率测度 每一个消息指定一个概率 (3) 概率空间 先验概率 理解 随机事件的自信息量定义为该事件发生概率的对数的负值。 事件 的概率为 ，则它的自信息定义为： 代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事 件发生以后，表示事件所含有或所能提 供的信息量。 自信息量 (4) 自信息 掌握 (5) 互信息 一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。 互信息 是已知事件 后所消除的关于事件 的不确定性，它等于事件 本身的不确定性 减去已知事件 后对 仍然存在的不确定性 。 互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。 掌握 设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下： 例题（1） 掌握 例题（2） 设有12枚同值硬币，其中有一枚为假币， 且只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现采用天平比较 左右两边轻重的方法来测量（因无砝 码）。为了在天平上称出哪一枚是假币， 试问至少必须称多少次？ （用信息论方法证明） 理解 设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概率为 设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为 事件a,b的不确定性为 要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件．所以所需获得的信息量 例题（2）--解答 理解 而在天平上称一次能判断出三钟情况：重、轻和相等。这三种情况是等概率的 所以，天平测一次能获得的信息量(即消除的不确定性)为 则至少必须称的次数为 例题（2）--解答 理解 1.2.1 信息论研究的目的 可靠性 有效性 保密性 认证性 理解 1.2.2 信息论研究的内容 1、狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道编码理论 2、一般信息论 主要研究信息传输和处理问题。包括噪声、滤波与预测、估计、保密等 3、广义信息论 所有与信息相关的领域 了解 1.3 信息论的发展历史 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的 数学理论 了解 1952年，费诺提出了费诺码 1952年，霍夫曼提出了霍夫曼编码方法， 并证 明了它是最佳码。 1968年，埃利斯提出了算术编码。 了解 * 第1章 绪论 信息论-基础理论与应用 肇庆学院数学与统计学院 邹小林 QQ 邮 箱：120962985@ 手 机 移动短号：623504 课程计划 1、计划学时54，全部为讲课学时 2、每周或每章结束交一次作业。 3、总成绩由两部分组成： 平时成绩占30％，考试成绩占70％ 4、计划讲授教材的一至七章(除第四章) 教学计划 第1章 绪论　　　　 　 2学时 第2章 离散信源及其信息